仕えないなら異動させるとか事務側に回すとかいろいろ方法あるでしょう
辞めさせるって手もあるし