そもそも弥生時代の始まりの頃に、呉国・越国・楚国などの争いが激化していて相克のうちにまず呉国、後に越国などが亡んでいる
難民というなら春秋戦国時代の海浜の民で逃げて来た人達はいただろうけど
そういった百越の民が神社を持ってきたという可能性もあるけどね

鳥居を、ビルマ雲南の境辺りの少数民族との類似性を指摘して長江を下った後に越人として日本に高度な稲作と共に逃げ込んできた可能性もあるでしょ