差別というか
横に繋がった組織的集団が怖がられてただけでしょ
ヤクザを嫌がるのと理屈は同じ