女相手に本気で反撃すれば更に周囲から反感や馬鹿にされたりとかしそうだしな。
俺なら悪口言われる程度なら痛くも痒くも無いし、手を出す事もして来ない弱者なんか相手にしないけど物理的に攻撃されたら男だろうが女だろうが遠慮なく反撃するな。