プライベートの飲み会なんて、
誰と行きたいか、誰と行きたくないか、
どういう理由でその人と行きたいか、どういう理由でその人と行きたくないか、
完全に自由なはずだ。
全ての人間にその自由がある。
故に、セクハラされたと言われたくない理由で女性と行きたくないというのも、完全に自由。