上司に移せばいいんじゃね。
休もうとしたら、出てきて下さい！って言えばよろし。