こういうときは嗜めるのではなく
同調して「ほんとうるさいですよね迷惑な人ですよね」とか言って「ところでじいさんどこまで行くの？」とか気を紛らわせるのがいい