実質的な中止権限どこにあるかって言ったら日本政府でしょ
一応主権国家ですよ
渡航認めなけりゃそれで終わり
一国の主権を超える権限なんかIOCにはありません