ご先祖が家にやってくるということだから生きてる親族も家に集まるんでしょ
墓参りは担当の家の家族で間に合うからみんなが墓参りするというわけでもない