この現実世界をオープンワールド系ゲームだと思えば
その世界を効率良く実装するには

プレイヤーキャラが存在するエリアのオブジェクトのみをシミュレートし、
プレイヤーキャラの観測対象のみをレンダリングする

これしかない
これが現実世界の実装

神はサイコロを振る