退職金が非課税

と思い込むのもよくわかるわ。退職金が少ない人(家族の退職金が少なかった人)は、
その経験から非課税という印象。

非課税じゃないという人は高額の退職金をもらっているのだろう。