周りと同じ行動をしなかったからではなくて、相手を不快にさせない言い訳を言わなかったのがマズいんじゃないの？
中学生ならまだしも、取引相手に食事に誘われたのに、「面倒くさいので嫌です」なんて普通は言えないだろ？