【arrowhead】東証、システム障害の原因を特定「自動切り替えできない設定値になっていた」 [記憶たどり。★]
■ このスレッドは過去ログ倉庫に格納されています
https://www.itmedia.co.jp/news/articles/2010/06/news063.html
東京証券取引所は10月5日、株式売買システム「arrowhead」（アローヘッド）で1日に発生した障害の原因を特定し、
4日中に修正したと発表した。
障害は、ストレージ内でメモリ故障が起き、サブ機にも切り替わらなかったことが原因。
メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。
https://image.itmedia.co.jp/news/articles/2010/06/l_yx_tos.jpg
東証のニュースリリースより
arrowheadのユーザー情報などを格納するストレージ「共有ディスク装置」の1号機に搭載されたメモリが故障したことに起因。
1号機が障害を検知すると、切り替え用設定値に従って自動で2号機に切り替わるはずが、切り替わらなかった。
調査したところ、メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。
設定値を変更すれば、自動切り替えできることが判明。4日にシステムに適用し、自動切り替えが動作することを確認したという。
稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。
1日の障害では、東証の全取引が終日停止した。 完全故障は切り替わるけど
性能劣化では切り替わらんってことかｗ
システムの設計ミスだな 作業ログは残ってなかったのかな？
設定値変更もプログラマブルにするのを標準にした方がいいね。ansibleとか？ >>28
どっちのせいでもないように
作り話し考えてる最中だと思われ (´・ω・｀)頑張って擁護してきたけど、もぅむりぃ 要するに形式的に設備は構築したけど
ストレステストはしてないってことだろ 現場猫やったやつ顔面蒼白だろこれ
いやもう「消された」か アローヘッドのデータセンターて何処にあるのかな、まさか韓国じゃないだろうな トランプコロナの情報掴んで市場の混乱を回避するため >>97
手動での切り替え自体は出来た
しかし不整合が発生しうるほどのダウンタイムを経過してたので、ストップさせた 設定値とか言ってるけど要はスイッチが入っていませんでしたｗ >>107
そういう作り話しにしようとしてるってことでOK >>112
ケアレスミス一個で止まるシステムなら
当然、設計も欠陥品だろうな デフォルトの設置値が切り替わらない値だったのかな？ >>3
多分納入時の最初から
設定値は作ったけど応答なくなった場合は自動切り替えする仕組みだったんだろうけれども
ここの設定値の方が優位持ってたとかそんな落ちでしょ >>97
手動切り替えなんてやらないのが正解。
トラブル時に無理に生かそうとすると余計にハマる。
2回目3回目の停止に追い込まれるくらいなら本日店仕舞、の方が賢い。 >>110
作り話しで賠償訴訟起こすの？
ムリっ
ｗｗｗｗｗｗｗｗｗ レベル低い
こんなんだからデジタル庁とか
恥ずかしい仕切りされるんだよ これもう富士通の責任だろ、下請けガーとか言っても仕方ないだろ 設定値（）
じゃあログにはディスクのメモリエラーはいたやつ残ってるはずだな あまりも仕事が暇だったので
凍傷システムサービスの社員が設定をいじったと言う事なのか >>124
富士通「引き渡し後に東証側がやると思った」
東証「そう設定されて設置してくれたと思った」 あの日東証がやっていて、トランプコロナと発表されたら、東証はどうなってたかな [config]
auto-kirikae=false >稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていた
テスト後に「切り替え用設定値」を誰かが変更したということか？
そうなると、
１ 稼働前のテストはいつ行ったのか？
２ 稼働前のテスト以降、システムの更新は行われたのか？
３ テスト環境から本番環境への切り替えはどのように行われたのか？ (一部のパラメータがテスト用のままというのは、よくあるミス）
などの疑問が生じる。
そもそも
４ 「自動切り替えできない設定値」の場合、共有ディスク装置の制御機構はどのような挙動をするのか、例えば
ａ 業務サーバとの連携はどうなるのか？
ｂ どのようなアラームが出るのか？
などなど、わからぬことだらけの報道発表だな。 スレタイ見て「はあぁ⁉︎」って声出ちゃっただろ
恥ずかしい ちゃんとやれとかしっかりやれとか確認したのかとか自分で何一つやらずただやれと命令するだけ
そういう連中が現場の手を動かす人間の三倍の数いて妨害に等しい割り込み処理をずっとしてくる
日本は本当におしまい。老人が消え去る15年後ぐらいにやっと持ち直せるかどうか… PCサーバーなんかで手工業的にシステムを組むから
トータルで高可用性設計のアーキテクチャの製品を使わないとｗ 特定できたってすごくない？日本の技術力の底力をみたわ >>129
東証側はこんなところ触らないでしょ
どう考えても富士通側のケアレスミス >>16
金じゃ動かないから、富士通では無理だったのだろう >>22
カーネル設定としたら、カーネルリビルドですか。
それは再テストの範囲大きいねぇ。
カーネルですもの。 > 稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。
切り替え出来てた事を確認してるのに切り替えしない設定に変わってた >>114
だからつまりテストしてなかったって事でしょ
というか不整合が発生するかもしれないほど落ちるというシステムの設計がそもそもミス
つまりバックアップが機能しなかった設計になってるのは設定値を間違えようが同じ事 東証ってそのうち「うちのお父さんが危篤なんです！」とか
「寝てないんですよ我々だって！」とか
「こんなに一生懸命やってるのにみんなボクらの気持ちを分かってくれない！」とか言って泣くとか
やり出すと思うｗ 動作確認しないのか？
それか、設定確認とかしないのか？ 冗長性を確保して、協議多数決システムを採用しないと 日本はどの業界も新設には熱心だけど改修メンテは二流の仕事って意識があるからな 分からないでもないが
なぜ東証の人間と打ち合わせができてなかったんだろう 設定を変更したログみたいなのはないのか
稼働前のテストも何か怪しいな いやーよかったなバグじゃなくて。
日本の技術力を見せつけたわ。
設定どおりに動いたんだから。 無能の極み
レベルが低すぎて怒りも湧かない、ただ笑うしかない >>129
あれ思い出したわ
現場猫のオアシス運動ｗ >>146
壊れないハードは無いという大前提だしね >>152
2流とは失礼な。
3流ならまだマシ、現実はボッタクリや、詐欺師扱いだよ。 >>144
まあ、ストレージ装置なんで、Linux ではなく独自 OS だろうけど。
Linux なら無停止で変更可 本当ゴミみたいな会社だな
今後重要なシステムを富士通に作らせるのは禁止しろよ 外資企業のシステムガーとか言ってたのは何だったのか 銀行システムはもっと作りが酷いんだぞ
タンス預金最強だぞ。 じゃあなんで手動で切り替えなかった
どうせウソなんだろう >>147
完璧にしようとすると何でもお金が掛かるんすよ 設定値ってどういう値でリリースするか設計書あるよね >>14
試験は東証側がやるものだからな。富士通が代行してるだけで。 >>166
なんで富士通に責任は無いって
「原因（？）」が分かる前に言ったの？
わざわざ記者会見開いてｗｗｗ とりあえず富士通が潰れるくらいの賠償をさせるべき
低品質なシステムを作り出す温床となっている会社は社員ごとシステム開発の仕事から追放したほうが良い 再発防止にはデジタルエキスパートのデジタル庁しかないのであります なら手動で切り替えられたはずだな
作り話だろｗ
テストでうまくいって設定値戻すとかバカでもありえんわｗ 受入検査していないからだろな
丸投げの代償は大きい こういう金融系はparallel sysplexとかtandemとか
ハードソフト一体で高可用性の製品を使ってるかと思ってたよｗ >>172
なんでこういう設定にしてあったか知らないけど、
デフォルトが自動切り替えしない設定で、
それを知らずにデフォルトで使ってたんじゃね。
ユーザーはデフォルトが自動切り替えするものだと勘違いとか。 東証ってそのうち
「うちのお父さんじゃ無くてお母さんが危篤なんです！」とか
「寝てないんですよ我々だって！」とか
「こんなに一生懸命やってるのにみんなボクらの気持ちを分かってくれない！」とか言って泣くとか
やり出すと思うｗ まあ自分のPCの設定なんて定期的に見たりしないしな >>177
USBがなんなのか説明できる庁ならいいな 通信途絶でフェールオーバーなので通信途絶しないためフリーズと。
これ俺の会社でも去年起きてるぜ。ただ、３０分で回復してる。
バカすぎるだろ。こんなの銀行のシステム系でもよくある話だ。
その場合はスイッチオーバーで終わりの話。
なんで当たり前のことを当たり前にできないんだ？
東証のオペレーターどもと富士通の常駐ＳＥは病的低能だな。 >>145
死活監視の途絶なんて理想的条件
もっとハードよりの泥臭い条件のテストすべきだった よくジョークで、スイッチ入れ忘れかといじるが、本当だったと、、 ヒューマンエラーだな
どんなシステムを作っても
使う人間がバカなら無意味と言う好例 どこの派遣社員がやらかしたのかな？
更新してもらえないなｗ 東証はともかく
証券会社は富士通に損害賠償請求すべきだろ
この日売上ゼロなんだから 東証の会見を信じるならって前提だけど
午前中に手動フラグで場は再開できたが証券会社との協議で途中再開するリスクのが高いってことで終日閉鎖にした
むしろ場中に停止してたほうが当日再開できたかもね
寄り付き前の注文があって取り消し再発注で証券会社側でなにか起こったら大変だし >>1
原発レベルで絶対止まっちゃいけないシステムなのにあらゆる事態想定出来てなかったって事だよな
別の業者に変えろ いろいろ想定してそういうパラメータも用意するんだろうけど
自動切換出来ない設定値ってよほどの時にしか不要な気がするけど
なんでよりによってその設定にしてあったんだろうか ■ このスレッドは過去ログ倉庫に格納されています
