所有する私道が非課税となるためには、
一般の通行の用に供されていることが大前提。

大阪の場合は道路使用状況等申出書を提出させていて、
一般人の通行を禁止していないか否かを確認してる。
http://www.city.osaka.lg.jp/zaisei/cmsfiles/contents/0000117/117930/dourosiyoujoukyouPDF.pdf

爺さんの私道持分が非課税ということは、
一般の通行を認めると大阪府に確約してることになる。

ところが、それを事後的にひっくり返して通行妨害をやってるわけだから、
過去に遡って固定資産税・都市計画税を徴収する必要がある。