不倫報道の松本文科相更迭を否定 首相「仕事でしっかり返して」