私道なんだから男は当然の主張だろ。
建築基準法上みなし道路にしているだけで、権利としては立ち入り禁止に出来る