断るときも嫌そうに断るとストーカーに餌を与えるようなもの。
ニコニコして断るのもよろしくない。タイプによってはそこから嫌がってる感じを読み取る。

事務的に定型の断り文句を言うのがベスト。

お気持ちはうれしいですが、
あなたは私の好みのタイプではないんです。
ごめんなさい。