宮内庁長官が勝手に天皇という固有名詞を出して
五輪という「まつりごと」に意見を述べたという事であれば
更迭やむなしでしょう。

昔で例えたらもし摂政や関白が天子の了承もなく
勝手に勅命を下したら、良くて流罪ですよ。