自治会を退会したいんだが、どうすればいい？

退会したら、ゴミ捨て場を利用できなくなるとか、
色々と嫌がらせされるらしい
毎年、自治会費で1万2000円を払ってる
入会金も別でかなり払わされた

全く酷い制度だ
どうすればいいんだ？