【KDDI通信障害】原因はコアルーター交換時の不具合とアクセス集中 負荷低減のため流量制御実施でつながりにくく 本格再開は未定 ★4 [ギズモ★]
■ このスレッドは過去ログ倉庫に格納されています
https://pctr.c.yimg.jp/t/amd-img/20220703-35189873-zdnet-000-2-view.jpg
https://pbs.twimg.com/media/FWtU8zPUYAAXe93.jpg
出典：@ishiit_aroka
KDDIの大規模通信障害、影響は最大3915万回線--事象が重なり復旧に遅れ
https://headlines.yahoo.co.jp/hl?a=20220703-35189873-zdnet-sci
KDDIは7月3日午前11時から、2日未明に発生した大規模な通信障害に関する記者会見を開いた。会見した代表取締役社長の高橋誠氏は、「社会インフラを担う安定的なサービスを提供しなければならない通信事業者として深くお詫びする」と謝罪を表明した。
通信障害は7月2日午前1時35分に発生し、全国で通話ができない、SMSの送受信ができない、データ通信の速度が遅くなる、途切れるなどの状態が3日午後現在まで続いている。3日午前11時時点の同社想定による影響範囲は、最大で約3915万回線。
中略
同社は、障害発生後から対応と復旧の作業を進めており（後述）、西日本エリアでは3日午前11時頃に、東日本エリアでは午後5時半頃に復旧作業の完了を予定。ただし、本格的な再開はネットワーク試験の検証結果によるとして未定という。
■複数の事象が重なり、復旧遅れる
同社によると、今回の障害は、東京・多摩ネットワークセンターで行っていたモバイルコアネットワークのコアルーター交換に起因する。通常保守の一環として2日午前1時35分からコアルーターのリプレース作業を行ったところ、新しいコアルーターで原因不明の故障が発生、音声トラフィックの通信経路が変更されず、約15分間に渡ってVoLTE（Voice over LTE）の音声通信が断絶、VoLTE交換機からアラートが発生した。この作業は外部委託ではなくKDDIが実施していたという。
このため午前1時50分に、手順に従って古いコアルーターへの音声トラフィックの切り戻し作業を実施。午前2時に事故対策本部を立ち上げた。しかし、午前2時17分頃から切り戻しに伴うアクセス集中によって、VoLTE交換機で輻輳が発生した。同社は午前2時52分にウェブサイトで障害情報を公開した。
午前3時から午後3時22分の約12時間にわたり、VoLTE交換機の負荷を低減するため、契約者端末からの信号接続要求の流量を制限。VoLTE交換機での呼処理プロセスのリセットと流量制限、無線設備でのデータおよび音声の接続要求の流量制限も実施した。
しかし、午後3時22分から加入者データベース（DB）の処理負荷が増加したという。取締役執行役員専務 技術統括本部長の吉村和幸氏によると、通常は契約者が通話やデータ通信をしていない状況でも端末と通信設備との間で、50分に1回の頻度で通信を行い、その際に位置情報を加入者DBに登録している。加入者DBでの処理後にVoLTE交換機にも位置情報が反映され、これがそろっていることで正常な通信が行われるという。
加入者DBの負荷の高まりは、上述のVoLTE交換機の負荷を軽減する各種作業の影響で、加入者DBへの位置情報の登録処理が不安定になったことが原因という。このため同社は、西日本収容の2台のパケットデータネットワークゲートウェイ（PGW）と東日本収容の2台のPGWを切り離し、加入者DBの負荷低減策を講じた。
さらに午後5時22分には、加入者DBに登録されるデータの不一致が発生した。今度はこれを修正する必要があり、先に切り離した東西日本収容の4台のPGWについてセッションをリセットしてデータの不一致を修正。その後に、別のPGW（計13台）についても切り離しとセッションのリセットを行ったとしている。
記者会見の時点で、障害発生のきっかけと見られるコアルーターの故障原因は調査中という。輻輳の発生による通信障害についても、事前の想定を超える事象が重なったことにより、復旧作業を手順通り実施したにもかかわらず復旧が長期化していると、同社では説明している。…
全文はソース参照
【写真】最初に発生した障害の概要。コアルーターを旧製品から新製品へ交換したところ何らかの不具合が発生した（日経クロステック）
https://cdn-xtech.nikkei.com/atcl/nxt/news/18/13226/ph2.jpg
【写真】コアルーターの切り戻し後に起きた障害の概要。VoLTE交換機へのアクセスが集中し、さらに加入者データベースのデータにも不一致が発生した（日経クロステック）
https://cdn-xtech.nikkei.com/atcl/nxt/news/18/13226/ph3.jpg
※前スレ
【KDDI通信障害】原因はコアルーター交換時の不具合とアクセス集中 負荷低減のため流量制御実施でつながりにくく 本格再開は未定 ★3 [ギズモ★]
https://asahi.5ch.net/test/read.cgi/newsplus/1656848457/ こういのって冗長化されていて仮にリプレースしたシステムに不具合があっても
何事もなく運用されるものじゃないのかね？ >>23
繋がる人のDBは生きてる、てことでいいの？ そもそも東京・大阪くらいの拠点間で同じバックアップシステムが瞬時に切り替えできないとかどんな運用してんだよ
こんな脆弱なインフラを4000万がつかってるともう・・戦時や災害なったらもう日本おしまいだな >>26
∧,,,∧ 永久に寝とけや、ハゲ！！！！！
`(ミ･ω･)つ ,";`
/ 彡○ ∴;,
し--Ｊ ⊂⌒⊂(*)｡∀｡)つ >>28
生きてるって言うか復旧済みなのか壊れてなかったんじゃね？ DBのセル「頭の中のコアが無事なら再生できるのだ。」 >>2
どこの親機と繋がってるのかはサーバと親機が情報持ってる。
じゃないと、電話の受信どうすんの？
探してかた着信音を鳴らしてるんだが？（※LINE等も同様） コアルーターが一つだけとか有り得ないから
こんな全国に大規模に展開しているなら、一台が壊れても残りが補完しあう設定になってないとおかしい >>41
冗長化されてる機器が切り替わらない障害はそこそこあるぞ まだ障害残ってるのかw
マジで日本にシステム管理は無理なんだな >>27
冗長化は本流には定義できないからな。
大量のキューが流れてくるのを自爆でやるとかAUさんらしいけど、
見せ掛けだけの技術者に技術を扱わせるとか、
派遣なんざに頼るとそういうリスクがあるぞ？ 選挙期間中にルータ取替とかやでてんのかw
まるでテロだな たった一回も通話やらは出来てないいい加減にしとけよ >>41
彡"⌒ヾ
ヽ( ^ω^)ノ VoLTEユニットは全国で18か所＋楽天用って言ってたな
へﾉ ﾉ インターネットはそういう特性なんだが、馬鹿KDDIは？
ω ノ
> つか、なんで同じ金額払ってるのにiPhoneだけ優遇するんだこの企業は！！！！！！！ povo(韓国語でアホ）こんな名前を使うから罰があたった。 >>48
携帯キャリアのDBなんてトップクラスの技術者なんじゃないの？(´・ω・`) これロシアの攻撃のような気がして来たなぁ
こんなに復旧が難しいのはちょっとあり得なくないか >>56
彡"⌒ヾ
ヽ( ^ω^)ノ 最初から馬鹿にしていたのか、クソKDDI
へﾉ ﾉ
ω ノ
> ＞音声トラフィックの通信経路が変更されず
え？ルータは経路制御専用コンピュータなのに何で経路制御できないの？
経路指定してなかったん？ｗ
経路を指定していたのに繋げたらその経路にパケット遅れなかったってこと？
＞この作業は外部委託ではなくKDDIが実施していたという。
コアルータのハードがイカレテなければ完全にKDDIのアホのせいやんｗ >>55
アホを晒すより調べろよ。だからいつまで経ってもお前はアホなんだよ。 >>33
それ、通信規制かけたことでスマホが通信できなくなったってこと？
なにか隠し機能がありそうな…もしかしてシミュレーション？
ドコモ、AUと連続で気味悪いわ >>62
二重三重にアホが重なってるように思える。 「切り戻し後に再接続要求が多発」. 起こり得る蚊のせいシミュレーションしてないのか 。しかし、午前2時17分頃から切り戻しに伴うアクセス集中によって、VoLTE交換機で輻輳が発生した。
ﾊﾞｯｶｼﾞｬﾈｰﾉ 彡"⌒ヾ
ヽ( ^ω^)ノ コアルーターってのは大規模スイッチの中で
へﾉ ﾉ コマンドでルーターを作ってるだけやろ
ω ノ
> DBの再構築だか整合とってる事を制限って言ってるんだろうな >>41
当然複数台で分散運用してるはず
そもそものルータのリプレース作業て切り戻しを想定してなかったんだろうね
構成元に戻したのに未だ復旧してないのなら何か他に起きてるようにしか思えない 自衛隊もKDDI使ってんだろ
絶対いわねーんだろけどｗ また、アンテナ0本です！
ちな、東海！
五月雨にして、補償から逃げる気だな！ 位置情報登録DBの制御でなんらかのバグでもあったのかな
装置交換後の経路解決や加入者情報の更新だけなら多少の輻輳があってもスムーズになされるはずだけどな あうの糞みたいなCM見なくて済んでるのだけは良いこと >>79
切り戻し手順を間違って2次災害になったと想像している。 知り合いの関係者に聞いたけど、今年3月末でサービスが終了した3G(CDMA2000)設備の撤去工事を、土曜の深夜から行ってたらしい
そこで4G/5Gの通話(VoLTE)用設備を誤って壊してしまったってのが真相みたい 勝俣のKDDIはまた日本に大災害を引き起こすところだったな >>77
フツールータ入れ替える前に
前のルータのルーティングテーブル確認したうえで
静的、動的ルーティングのテストするよなｗ >>68
まず、二重化していないというところが不思議(^^;)
次にトラブル時の輻輳対策がなされていないように見える。
確かにネットワークは、設計構築が派手だし、
宣伝にも利用できるが、
非常に地味だし、トラブルでもないと注目されない保守手順の方まで、
しっかり設計されていないと、
こういう事態になるだろうな(^^;)
結局、安いサービス提供で、
ムチャなサービス設計をしたんじゃないかな？(^^;) Iot端末多すぎて、システム切り替えたら制御できなかったアル。
全サーバー停止。とりあえず、個人のスマホをバンしつづけて
auのシステムを防衛。ふう、なんとか乗り切ったアル。
スマホによる通話はもうちょっとまってね。見事な後回し。
太陽光発電ごりおしして、供給が急激にさがる時間帯にたいして
「個人の電気使用量をひかえて」いうのと同じ話だ。
「熱中症には気をつけて、でも暑いからしれないがクーラーの使用を控えて！」
「諸事情でデータベースに負荷かかってるので電話とかつかわないで！いや、つかわせねえよ」
「電気の安定供給、とまらない通信回線、そういうの儲かりませんから」 >>98
彡"⌒ヾ
ヽ( ^ω^)ノ 辻褄が合わないことが多い
へﾉ ﾉ
ω ノ
> >>89
新しいルーターの場合、
試験をやらない方がおかしいと思う。
特にこういう基幹部分の場合(^^;) 日本は戦争になったら速攻でネットワーク関連は遮断されちまうだろうな これ、業界関係者か何かで、素人にも分かりやすく説明できる人いますか？ >>83
情報不一致でエラーで再処理
この時点で輻輳残して制限制御なんて
アホの境地
今週１週間はこのままだから覚悟しよう >>102
彡"⌒ヾ
ヽ( ^ω^)ノ 今となっては情報が嘘過ぎて
へﾉ ﾉ 説明できる材料が無い
ω ノ
> >>66
いや、端末側でオフには出来ない
アプリのGPSとは違うから >>10
通常メンテの切り戻しだから再度コアルーターの交換が必要だよ
もう一度同じことが起こるかもね 西日本は11時に復旧作業終わったって言ったよね？言ったよね？ >>102
業界関係者ではないが、
単純に説明すると行き当たりばったりになっていると思う。
新しいルータの不具合もおかしいし、
切り戻し作業でトラフィックの対策が十分になされていないのもおかしいし、
更に1の図をみる限り、
何度も接続要求（発呼）が発生して輻輳が解消されないというのもおかしい。
突発的な事故が重なったと言われればそれまでだが、
普通はそういう事態への対策もある程度なされていないのもいるはずだろう(^^;) 復旧作業終了と報道されてもほとんど繋がらねから終了って言うんじゃねーよと言いたい。 どこのルータだろうなｗ
こんな基幹部のコアルータなんて数千万レベルのシスコルータ使ったり？ >>2
してないわけないじゃん
つながるメカニズム考えないと >>75
それだと３，４日じゃ元に戻らなさそうだよね 通話できない
@栃木
多分通話は全国全滅なんじゃね？ 楽天自慢の完全仮想化ネットワークなら
どうなの？
障害につよいの？ >>113
早くて2週間くらい？
遅いと 1ヶ月かかりそう… 拾い画
i.imgur.com/1pRNfeZ.png
LTE よくわからんw >>102
回線は1時間に１回かならず通信する
仮に全回線の同時通信の場合
瞬間最大３０００万回の処理させる
これでも勿論パンクする
楽天モバイルのサービス開始時にも
似たようなことが起きている
だが今はエラー処理が頻発している
２つのサーバ間でデータの不一致により
エラー処理で処理されないで拒否される
そうなるとモバイル端末は
５分に１回、１時間に１２回も通信する
上記の１２倍の通信量が発生している KDDIもなんだかよく分かっていないという最も楽しい状態かもな >>83
輻輳時の再送で無限ループでも起きたんだろうなあ
深夜2時だしそんな簡単に輻輳なんて起こらないし、起きたところですぐ復帰できるのはバルス祭で実証済み 補償金最低でも
4000万件✕2000円＝800億円
・売上いくらあろうが特損出して
・監督官庁への報告事故
・虎の子のプラチナバンドを楽天に移譲するよう大臣から是正勧告
さすがに社長のクビは飛ぶやろ キッカケって、ルート設定間違ったまま繋いでしまったんじゃない？
テストしないでつないだのか？？ 未定じゃねえよ
俺は電話なんか会社くらいしかから来ないけど商売とかやってる人はたまらんだろうな >>57
冗長化って完全に万能なものじゃなくて、あくまでバックアップなんだよ。
冗長化を最も簡潔に言うと、「バックアップ作戦」辺りが適切な表現になる工場の中でラインが予備として2本目作れるよってのが冗長化。
でも荷受けする場所（メッセージキュー等）は、結局はうまく分散させるしかないので、冗長化はできず、
スループットにアホほど余力持たせるくらいしかできない。（「最悪想定時、滞りなく」の水準が必要。）
そこをケチッてる（リスクを過小評価する）と、こうなる。 ■ このスレッドは過去ログ倉庫に格納されています
