稲田大臣、批判高まり「好きな服も着られない」と不満漏らす