江藤農相、事実上の更迭へ