例えば労働者が減った町なんて幾らでもあるじゃんね。
その町で賃金が上がったのか下がったのか、統計を取って比較すれば良い。
そーすれば答えは出るでしょと思うけど。

労働者が減れば賃金は上がりますか?