【社会】みずほ 大規模システム障害 “二重故障”想定せず復旧遅れ [凜★]
■ このスレッドは過去ログ倉庫に格納されています
■NHK（2021年10月8日 18時56分）
https://www3.nhk.or.jp/news/html/20211008/k10013299181000.html
みずほフィナンシャルグループは、ことし8月に発生した大規模なシステム障害の原因について、二重に装置が故障する極めてまれなトラブルを想定していなかったことが復旧の遅れにつながったと、明らかにしました。
ことし8月19日の夜に発生したシステム障害では、みずほ銀行とみずほ信託銀行の全国およそ520店舗で、翌日の朝から正午ごろにかけて、窓口での振り込みや入金などの取り引きができない状態になりました。
みずほは8日、このシステム障害の詳しい原因について調査の結果を明らかにしました。
それによりますと、この障害ではまず、いわゆるメインシステムと各店舗の端末などをつなぐ部分で、2台同時に作動しているハードディスク装置のうちの1台が故障したということです。
残りの1台は、いったん単独で作動を始めましたが、およそ1時間後にこちらの装置も故障したということです。
調査結果では、こうした二重に装置が故障する極めてまれなトラブルをみずほとシステムを開発した企業がともに想定していなかったほか、バックアップへの切り替えなど復旧に向けた対応にも時間がかかったとしています。
（以下省略、続きはリンク先でお願いします） システムを一から作り直せばいいのでは？
なぜそうしないの？ 二重化が極めて稀？
日本は三重化くらいがデフォで丁度いいわ
本番予備メンテな 極めてまれ？バックアップ装置は普段から定期的に動かしてたの？普段動かしてないものを急に動かすとよく不具合が起きるんだが。 未だにキチガイ会社やそこに勤めてるキチガイが使って
いるという事実 これ情報処理の試験に出るよね。
デュアルシステムだっけ。 >>3
稀なのは二重化したシステムの両方ともハードエラーで落ちたことでは。 いまのツギハギのみずほのシステムなら三重故障も四重故障も起きる
全部作り直す以外に解決する方法は一つもない >>1
そんなレアな確率の故障なんて起きないから対策は無駄（キリッ！）
とか役員が言っていたりしてw 「待機系が壊れたときに副系に切り替わらなくて複雑な壊れ方をした」とか言ってたくせに
災対サイトからリカバリとかなんでやってたんだろうと思ったら
正副両方飛んでたのか さすがに他社で最初から作り直した方がいいんじゃないか？
大規模障害が毎年起きるなんてメガバンクじゃあり得ないだろ ガンダムに例えるとブラウ・ブロが右左同時にやられた これ単にRAIDが故障したってことじゃないの？
そんなの当たり前のようにある事では。 ホットスタンバイだったのかコールドスタンバイだったのか みずほ以外のまともなシステムだって
こういうシステムで使うストレージは高価な上、滅多なことで壊れないことになってるし
オンラインで３つめのバックアップを持ってることはまれだと思う
（やってるとこでも、せいぜい遠隔地にレプリケーション取るとか大災害対策用の遠隔保管したテープから開発環境に戻すとかそんなの） 二重故障を想定するような社員は日本の会社にとって害悪
まっさきにリストラ候補 もう解散でいいよ
宝くじ事業は還元率を良くして、透明性を確保して全てを公表しインチキをなくそう 一般人が想像するような
RAIDのミラーリングで片方壊れたからミラーリング外して使い始めたとか
そんなパソコンの話ではない・・・はず >>23
福島の原発と同じだな。
起きる可能性が皆無でも、起きたら壊滅的に
なる事象には対応策が必要。
起きても金で解決できる問題なら、金を用意しておくか、
保険をかけておけばOK。 >>1
悪いのは無能な下請け共であってみずほや元請けの富士通などに責任は一切存在しない！ >>1 銀行のシステムで二重程度っておかしいだろ、日本のシステムってボッタクリすぎね。 >>38
ハード含めて2系統あると思う。
デュプレックスシステムというやつ。 「原因不明で独立したストレージ装置が正副二台死んだ」
っていう話なら、むしろそんな話を「複雑な壊れ方をした」とかぼやかしてこれまで隠蔽してたことを叩くべき >>23
というより、
故障した際の損害額を過小評価した上に、
問題発生の確率が低いことを理由に、
運用費をケチった可能性がある😅
早い話が、構築時の要件を「経営」が途中で費用を削って、
運用が要件を満たさない状態になってしまった😅
というのは、十分にあり得る😅
構築→保守・運用→コスト削減・システム管理費見直し→
役員「費用のかからないシステムに切り替える余裕もないし、
そのままのシステムで、運用だけ費用を削減しろ！」
という「鶴の一声」で、手抜き運用が始まる😅
というパターンは、日本企業あるあるでしょう😅
要するに昭和ジジババさじ加減で、
「先進力でなんとかする」経営パターン😅 >>46
☓「先進力でなんとかする」経営パターン😅
◯「精神力でなんとかする」経営パターン😅 >>48
デュプレックスシステムは本体とハードディスクを2系統用意してる。
検索してみたら。 >>42
ミラーリングを片肺飛行させた挙句、
バックアップシステムが作動せず😅
いやはや😅
日頃の保守をしっかりやっていないとこうなりますな😅 >>53
それは分かるけど、そうだとしたらこういう文章にはならないと思うぞ。 >>53
で、コントローラーはひとつで、それ壊れると死ぬとｗ >>48
ミラーリングしてるからそれで単一障害点ではありません（ｷﾘｯ
とかやってたら、ほんまもんのガイジやろ よくあること。
なんで令和になってもバックアップシステムの構築がこんなに複雑なんだろうね。 >>55
正副システムの両方ともハードディスクが壊れたと言ってるのでは。
確率的にはかなり低いと思うけどw 良い言い訳見つけたー
みたいに報告してるが、冗長化構成もシステムのうち みずほはうちはもう幽霊口座にしているので無問題
名前が嫌いなので >>53
単純化するとこんな感じだろ？😅
>>50
どの程度の確率で発生するんだ？
うん、それなら対策は不要だな
（俺の任期中に起きる可能性は相当程度に低い、起きても誰かに押し付ける準備をしておけば問題ない） >>63
メインフレーム本体に正副のハードディスクをつけたデュプレックスシステムもあるとは思うけど。
情報処理の試験で出るから知識として知ってただけで具体的なことはあまり詳しくないわ。
システムが落ちにくくするためにデュプレックス化するのはかなり昔からある手法のひとつだね。 新聞はパソコンの大先生くらいの奴が取材に行くし
みずほも6月以降サイトで説明資料を公開しなくなったから
第三者に伝わるのは伝言ゲームで意味わからんことになる
みずほ障害調査、同じ型番で故障相次ぐ
https://news.yahoo.co.jp/articles/29fe6c92b4b109d99747991138afcfdc70191bf0
ストレージ・サーバで使ってる同じロットのHDDのディスクの玉に欠陥があったとかじゃなくて
正副で揃えてある同じ型番のストレージ装置のバグをI/O関係がおかしくなる
致命的バグを引いたということちゃうか >>38
わからんのう
外部ディスク装置が２系統あってその箱がそれぞれ壊れたんかのう
その箱自体はそれぞれRAIDになっているとかで >>64
こんな感じだね。
両方とも常に作動させてるのはデュアルシステム、正が落ちた時に副に切り替えるのがデュプレックスシステム、と習うはず。 ミズホには、GoogleやAmazonが持ってる
システムを1から開発できないのか？ >>73
ようわからんけどみずほぐらいだと遠隔地に対になるもう２系統あるんだろうけどたぶん全面切り替えしか想定していないから時間かかったんじゃね？ >>18
多分その２台が同期取ってて、一台のハード故障に引っ張られたのかと システム障害多いね
ワクチン未接種者の方へ
今後ワクチン摂種希望者が打ち終わり次第、政府は非常事態宣言を行わなくなります。その為、コロナは加速的に感染拡大し、最終的に全員が何度も感染します。
ワクチン未接種者がコロナに感染した場合、莫大な治療費がかかることから社会保障を維持することが難しくなり、一回の感染につき平均で800万円程度の医療費を支払うことになります(日本を含む一部の国のみ新型コロナの治療費が無償化されており、日本人はこの金額の大きさに気づいていません)
また一度感染した場合、後日ワクチン接種することになるため、莫大な支払金と後遺症を残して接種するか、後遺症を残さない段階で接種するかの違いになります。
ワクチン未接種者はお金と健康を失います。
お金がない人は莫大な借金を背負うことになります。
今一度ワクチン接種を検討ください。
>>1-3 >>1000
コロナマップ(世界の感染者数をまとめたマップ)
https://vdata.nikkei.com/newsgraphics/coronavirus-world-map/
新型コロナウィルスに感染すると
・100人中14人が死ぬ(伊国政府報告)→米国では3300万人感染し60万人死亡、死因一位はダントツでコロナです
・100人中13人が退院後、140日以内に死亡(英レスター大と国家統計局)
・100人中43人が呼吸困難の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中40人が味覚障害、嗅覚障害の後遺症(イタリア・パドヴァ大学報告)
・100人中15人が人工透析(米国医療法人報告)
・100人中30人が退院後、140日以内に再発症(英レスター大と国家統計局)
・100人中80人が肺が繊維化し10年以内に死ぬ可能性(台湾医師報告)
・100人中95人が2ヶ月でコロナに対する免疫が消え、再感染(中国大学病院報告)
・100人中27人が関節痛の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中53人が疲労系の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中20人が精神疾患(英オックスフォード大学と英国立衛生研究所）
・100人中21人が胸痛の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中14人が聴覚障害(英国マンチェスター大学報告)
・100人中10人が神経障害(イタリアのジョバンニ病院報告)
・100人中9人が運動能力障害(イタリアのジョバンニ病院報告)
・100人中24人が脱毛の後遺症(日本の国立国際医療研究センター報告)
・100人中50人は無症状(日本政府ダイアモンドプリンセスの船内感染者調査報告)
・感染後、脳に重大な損傷(英国研究機関報告)
・感染後、免疫細胞を破壊(米国研究機関報告)
・感染後、歯や髪が抜ける
・感染後、80日以上コロナを排出
・感染後、頭痛、物忘れ、幻覚、痙攣(EU研究機関報告)
・感染後、血管が損傷。臓器が壊死
・感染後、血栓が発生。脳卒中や心筋梗塞
・感染後、無症状なのに他人にうつる
・感染後、息、鼻水、汗、糞、尿からウィルスを排出(中国研究機関報告)
・乾燥すると感染力が5倍以上(日本理化学研究所 スパコン富岳の計算結果)
・新型コロナの致死率、持病あれば12倍に (米国疾病対策センターCDC)
・感染が広がり米国では2600万人失業。経済も破壊します
学校、企業は一度感染した人を感染者として扱います。コロナにかかっても大丈夫と発言する人がいますが、自分の家族、多くの日本人の人生を破壊します。自宅で過ごすことを心がけましょう
jh ワクチン未接種者の方へ
今後ワクチン摂種希望者が打ち終わり次第、政府は非常事態宣言を行わなくなります。その為、コロナは加速的に感染拡大し、最終的に全員が何度も感染します。
ワクチン未接種者がコロナに感染した場合、莫大な治療費がかかることから社会保障を維持することが難しくなり、一回の感染につき平均で800万円程度の医療費を支払うことになります(日本を含む一部の国のみ新型コロナの治療費が無償化されており、日本人はこの金額の大きさに気づいていません)
また一度感染した場合、後日ワクチン接種することになるため、莫大な支払金と後遺症を残して接種するか、後遺症を残さない段階で接種するかの違いになります。
ワクチン未接種者はお金と健康を失います。
お金がない人は莫大な借金を背負うことになります。
今一度ワクチン接種を検討ください。
>>1-3 >>1000
コロナマップ(世界の感染者数をまとめたマップ)
https://vdata.nikkei.com/newsgraphics/coronavirus-world-map/
新型コロナウィルスに感染すると
・100人中14人が死ぬ(伊国政府報告)→米国では3300万人感染し60万人死亡、死因一位はダントツでコロナです
・100人中13人が退院後、140日以内に死亡(英レスター大と国家統計局)
・100人中43人が呼吸困難の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中40人が味覚障害、嗅覚障害の後遺症(イタリア・パドヴァ大学報告)
・100人中15人が人工透析(米国医療法人報告)
・100人中30人が退院後、140日以内に再発症(英レスター大と国家統計局)
・100人中80人が肺が繊維化し10年以内に死ぬ可能性(台湾医師報告)
・100人中95人が2ヶ月でコロナに対する免疫が消え、再感染(中国大学病院報告)
・100人中27人が関節痛の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中53人が疲労系の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中20人が精神疾患(英オックスフォード大学と英国立衛生研究所）
・100人中21人が胸痛の後遺症(イタリア・ジェメッリ大学病院報告)
・100人中14人が聴覚障害(英国マンチェスター大学報告)
・100人中10人が神経障害(イタリアのジョバンニ病院報告)
・100人中9人が運動能力障害(イタリアのジョバンニ病院報告)
・100人中24人が脱毛の後遺症(日本の国立国際医療研究センター報告)
・100人中50人は無症状(日本政府ダイアモンドプリンセスの船内感染者調査報告)
・感染後、脳に重大な損傷(英国研究機関報告)
・感染後、免疫細胞を破壊(米国研究機関報告)
・感染後、歯や髪が抜ける
・感染後、80日以上コロナを排出
・感染後、頭痛、物忘れ、幻覚、痙攣(EU研究機関報告)
・感染後、血管が損傷。臓器が壊死
・感染後、血栓が発生。脳卒中や心筋梗塞
・感染後、無症状なのに他人にうつる
・感染後、息、鼻水、汗、糞、尿からウィルスを排出(中国研究機関報告)
・乾燥すると感染力が5倍以上(日本理化学研究所 スパコン富岳の計算結果)
・新型コロナの致死率、持病あれば12倍に (米国疾病対策センターCDC)
・感染が広がり米国では2600万人失業。経済も破壊します
学校、企業は一度感染した人を感染者として扱います。コロナにかかっても大丈夫と発言する人がいますが、自分の家族、多くの日本人の人生を破壊します。自宅で過ごすことを心がけましょう >>30
物凄い精巧な造りって理解できないの？
製品の耐用性能がきっちり同じなんだぞ。
流石、MADE IN JAPANやな >>1
みずほ銀行は国民の預金を在日ソフトバンクに垂れ流してるから天罰が下ったんだよ
.
中国では恒大不動産や他の不動産会社
日本ではみずほ銀行が税金と国民の預金を在日ソフトバンクに垂れ流してる＝ぶっ飛んだら日本経済に大ダメージ
.
みずほ銀行は在日ソフトバンクの資産を没収して回収、足りない分は在日ソフトバンクを売却して回収
次にみずほ銀行の資産を没収、みずほ銀行を他行に受け継がせる
※これで被害を最小限に抑えることが出来る >>83
ディスクとかだとあるな
ロット同じだと壊れる日が同時ってのもある
あとはロットじゃないがファームウェアもか 新生銀行が最近システム直しただろ？
北尾に喰われそうだからホワイトナイトなって買い取れば？
そこから作った方が早いし安いだろう ハードウェア保守担当者に於かれましては
日頃から HDDのS.M.A.R.T. をチェックする趣味を身に付けておきませう 有料部分見てないけど、一般紙よりは詳しい奴が書いてるこの記事によると
https://xtech.nikkei.com/atcl/nxt/column/18/01157/092200045/?n_cid=nbpnxt_twbn
「正系のDBサーバのハードディスクが1こ壊れた」
「切り離して使いはじめたがミラーリングごと両方壊れた」
「こういう際は副系に切り替わることになってるが、壊れ方の都合で、
待機系が最新の状態であると補償できなくなったため、副系が動かせなかった」
（→他のデータセンターで１から作り直して復旧した？）
てことか。「ハードディスクがミラーリングごと壊れた場合」は
本来副DBサーバーに切り替えて運用することになってたんだから
NHKなどが言っている「二重故障を想定してなかった」というのは間違い >>92
副は壊れたのではなく、内容が最新であると断言できなかったので使えなかった、ということ？ >>92
壊れ方の都合で、
待機系が最新の状態であると補償できなくなったため
想定されて無くね？ 確か第一勧銀と富士と興銀が対等合併した時に、システム部がウチはココが一番だからやらせろ、アンタの処はココが弱いとお互い譲らなくなった。大きな会社ならよくある話なんだが、経営陣って基本的に爺様だからコンピュータシステムなんて殆ど分からんのよ。で、指図しようにも具体的にも分からないから、頓珍漢な事を言うか、もう黙って好き放題やらせる代わりに会社の利益に繋げろの二択しか無い。コレが他の部署なら上層部の鶴の一声で解決したんだろうが、三社共にシステム部はある意味聖域になっちゃっていて、お互いの面子を守る為に全く違うシステムを強引に纏めてしまう。で、初日からシステムエラー起こすと言う伝説から始まって未だにソレが尾を引いている。コレが地銀程度なら行政の方も潰していたんだろうが、如何せんデカ過ぎて指導までしか出来んのだわな。役人なんてシステムの事には殆ど知識無いしね。 ハードが2台同時に壊れる確率ってすごいと思うけど
もし本当ならみずほはお祓いした方がいい >>95
翻訳するとそういうこと
>>96
副系動かしていいかどうかを判断するシステムはハード回りじゃなく
業務レベルで作りこんでるのであろうから
結局インフラだけじゃなく、そういうとこと統合して障害のテストをろくにやらず
こういう壊れ方をしたときの復旧手順がわからなかったガイジって結論には変わらない >>100
ようわからんけどリカバリアプリケーションの作りこみで対応するんやないの？
まさかデータをダンプして手で補正して復旧させるとか時間どれだけかかるかわからんし システム部門の長は解雇のみならず損害賠償請求をみずほ自らやれ
やらないなら役員全員の責任だ それによりますと、この障害ではまず、いわゆるメインシステムと各店舗の端末などを
つなぐ部分で、2台同時に作動しているハードディスク装置のうちの1台が故障したということです。
残りの1台は、いったん単独で作動を始めましたが、およそ1時間後にこちらの装置も
故障したということです。
RAID-1でディスク付替えを一度もしてなかったんやろなぁ。
同品番同ロットのHDDでRAIDを組むとこれがあるから怖い。
普通はシステムを落とした際にどっちか一方を交換してこういう事態を防ぐんだが。 >>76
その場合エラー吐いて片方が何事もなく動いてるんでね？ >>76
2台並んでるだけで、結果的に二重化といえないシステムだったか。 >>92
正副構成といっても
マシンAとマシンBのどっちとも正で副(つまり意識しない)はずですよね
データの流れが
通常 どこか→[正系]→[副系]→どこか
正系異常時 どこか→<バイパス>→[副系]→どこか
というふうに直列になっていたんですかねえ？
まともな正副構成は、当然のごとくハードから並列処理で、
念のいったところは突合せまでやってますけど 壊れかた言われるとHDDが一つ壊れて片肺になった時点でデータ保全の為、副に切り替えなきゃいけないシステムなん？ みずほはもう四重くらいのシステムにしたほうがいいのでは
メインのバックアップのバックアップのバックアップくらい用意して そうだな、ただのRAIDでポンコツハードディスクだったんだろ
某デパートに入れた奴がこれで５個中2個が数日で壊れた
営業が設置時のミスだろと言ってきて言い合いになったことがあった
他店も同じようにぶっ壊れて、全機交換したことがある
交換は簡単で動いたまま引き抜いて、新品をそのまま突っ込むだけ
抜いたやつはひゅーんっていいなが回ってたんだけど、楽になったなと
って、RAIDバイオスもバグだらけでテストしてないのかと
深夜に天井を見ながら泣いたことが ここのシステム担当にだけは絶対になりたくないわ
逃げずに頑張ってる人たちを尊敬する 素人だからようわからんけど正のＤＢサーバーは副のＤＢサーバーに同期データを送っているけど正のDBサーバーが完全に壊れた際に副に同期データーをどこまで送れていたかわからんて事？ DBを使ってるクライアントからすると既に
ミラーの１ペアが全滅するまで動いてた正DBサーバーと通信してデータをやりとりしたことになってるから
副系が昔のタイムスタンプまでの復旧だと不整合が出る
だから切り替え時に立ち上がった副系のデータを見て
クライアント側のデータと突き合わせるようなチェックを入れて
最新の状態ではなかったら副系を動かしてはならんことになっていた
他社DB製品の設計者からしたら信じられんけど
つねに正副は同期されてる、という仮定で、そういう場合の復旧手順ができてなかった
ということちゃう みずほちゃんシステム障害だったのか・・・・・どうりで。。。 二重化してたならスイッチングハブで一瞬で切り替わるから
無いな、もしもう一方のRAIDも故障したならメーカーは莫大な賠償を負わされる
うちのは別原因だったけど3億とか言ってたな システム屋ならわかると思うけど
ミラーリングのHDDが一個死んで交換するまで片系運用なんてのは日常茶飯事だからな
しかし残りの一個も死ぬとは、実に運がないねみずほは >>92
災対側の同期が取れていなかったって事だけど、正系が異常を起こしている時に同期が正しくされる前提があり得ない気がするんだよな >>115
いやわかるよ、文字道理瞬時に切り替わって
１バイト単位のリトライ受信で簡単にリカバリーされたと >>3
マジレスすると、みずほ含めた普通の日本の銀行は本番二重化+遠隔地で三重なのがデフォです。
みずほは、二重故障だったのに遠隔地への切り替えをする判断ができなかった。 原因はハードウェアではないと思う
これは単なる逃げ
バグです いうほど二重故障に対応したシステムなんかあるか？
AWSだって毎年大規模障害起こしてるのに >>120
説明してるやつが意味理解してない
だけだろ、そうしてまたメーカーから金をむしり取られて
ダウンシステムをひ孫受けが作っていくと言う地獄
ひ孫が監禁ホテルから深夜に脱走する絵が浮かぶ DBの中身じゃなく何をしたかで管理してる
たとえば300グラムのうんこをした
さらに100グラムのうんこをした
うんこは400グラムある ではない メインのデータセンターが被災してサブのコールドスタンバイのデータセンターを立ち上げるのと同じ事をやろうとしたわけで。
まあ、下っ端の運用系SEには荷が重かっただろう。 何で倒産しないの？
もし自分がみずほに金預けてたら全部引き出すよ 要は無能な下請け共が真面目に仕事してなかったから起きた障害だろ
あいつらはサボることしか考えてないからな ↑肝心のみずほの中の人がこんな考えなんだろうなあ
そう思うなら下請けなんか使わなきゃいいじゃん
全部自分たちでやれよ >>3
同じ型番の機器なら3台でも逝くんだろな
ハード自体になんらか欠陥あったんだろ >>123
遠隔地のセンタじゃデータが欠落してるかもしれないから迂闊に稼働できん >>125
ないよね
二重障害の想定を放棄してるとこがほとんど >>135
それなw
遠隔地保管してるといってもそのデータが即時使えるわけではないw NHK他一般マスコミの理解
「ミラーリングまでディスクが壊れる「二重故障」を想定していなかった」
たぶんみずほが本当に説明したかったこと
「故障によって正・副（待機）の整合性があわなくなることを想定していなかった」
（その場合は激甚な災害でデータセンターが吹っ飛んだ場合と同じリカバリ手順になるという理解が
現運用担当者で共有されてなかったため早々にその手順に踏み切ることができなかった） いや、びっくりなのはこんなポンコツ銀行使ってる
利用者の方だよ。
特に事業者。決済不履行どうするの？
マゾ？
他の銀行じゃ新規取引してもらえないのか？ 一般的なシステムならいざ知らず実態として公共システムは考慮しないとねぇ システム廃棄して、
適当な大手銀行のシステム購入させてもらって、導入した方が良いのでは？ 戻せ戻せ戻せ
↓
戻したらなんか別のエラー出た
↓
戻せ戻せ戻せ
↓
戻したらなんか別のエラー出た
↓
戻せ戻せ戻せ
↓
戻したらなんか止まった どうせ同じ時期に購入した、同じ種類のハードディスク使ってたんだろ
メーカー変えるか、購入時期ずらしたハードディスク使えよ >>139
ずっとみずほでやってるところは、なかなか他の銀行に乗り換え難いんだよ。
うちの会社の社員でも、カードが取られた人が何人かいる。その人は給料の
振り込み先を変えてもらったりしたけどな。 もう業務停止命令出して三菱か三井住友に買い取ってもらえ。 IT部門が出世コースの部署じゃないからというのが本質的にあるのかな？
無能な人が飛ばされる部署なんじゃないの？
それだと下請けにまともな指示出せんよ。 デュプレックスは人が予備に切り替える
ミラーリングはむしろタンデムと言うべき >>147
カード取られた人が結構散発的に続いているみたいなんだよね
ATMで見かけたことがある >>151
タンデムは企業名だったから商標かもしんないよ タンデムはエンジンが２台付いてる車
デュアルは予備車はすぐうしろを走ってる
デュープレックスは予備車は倉庫にはいってる
じゃなかったけ SMARTを見ていない
同ロットの可能性
障害発生時の考察がなっていない
RAIDだからデータは安全という思い込み（筐体が違うのに）
想定外だから手順も何も考えていない >>154
タンデムはOSから大改造するからふつうのメーカーでは出来ないだよな お前らの中でいまだに預金や企業の取引先を
みずほ銀行にしているのかいるのか？
いい加減解約や取引中止しないと
みずほ銀行は今度データ消失やらかすこと間違いないぞ
それくらい危険な銀行だ >>137
でも、1時間もかからないと思うぞ
切り替え後のチェック項目が多すぎてのパターンもあるけど >>158
お金借りてる方だから早くチャラにならないかなと期待してる まさかとは思うけど、これってその辺で売っている
数万円のNAS1台を使っていて、NASの中のミラーリング
していた2つのHDDのうち、まず1本がダウンして、
その後残りの1本もダウン・・・・
まさか、いくらなんでも天下のみずほ銀行でそんな
しょぼい話ではないよね・・・ >>119
クラスターにしておいて、マシン一台ストレーシ一台死んでも
生き残りがガンガルって構成になってなかったのかねぇ
金はかかるけど、しょっぱい中小企業なら兎も角、金融の最大手でしょ >>161
証券会社のRADIUSにSOHO向けルーター使ってる大手電機メーカーがあった
日本企業はバカだからそんな機器選定でも騙せるんだ
不具合起きたらその製品のバグだと言って機器交換で再度儲ける悪徳っぷり
ベンダー側のサポートでそんなことするヤクザみたいなSI企業たくさん見てきたよ >>125
電話とかは対応してるよ。
救急や警察などへの電話など命に関わるから、長期の停止がNG >>163
・・・
そんな機器を提案する業者もアレだが、
そうか・・・みずほだけじゃないんだね。
考えてみれば、みずほのような銀行があるんだから、
他の金融業でも有り得る、そう考えるべきだな。 その２重故障にまともに対応出来なかったんだから３重の故障みたいなもんだなｗｗｗ 内燃機関でいうと、1番シリンダーはガソリン4サイクル、2番シリンダーはディーゼル2サイクル、3番シリンダーはディーゼル4サイクル、4番シリンダーはガソリン2サイクル、5番目はロータリー。みたいな感じ？付け合わせで蒸気機関も！みたいなエンジンをスムーズに回せ！ってと？ >>138
うんうん
運用担当の理解と決断が結局は最後の砦で、人員削減でそのあたりがガタガタになったのかな >>138
故障したとき人が切り替えてるのは二重化とは言わないだけど 装置としてのディスクの二重化とシステム全体の二重化とその通信ルートが動作しなくなった時の他の通信ルートへの切り替え。
だいたい、これ位の事はやっておいて欲しいもんだが。。装置の二重化で両系のディスクが壊れたらお終い？
それはちょっと脆すぎね？ 運用担当の理解と言うが、こう言うのは誰でも出来る様に障害発生時の分かりやすい手順書を用意しておくもんだ。どうせその手順書がいい加減で手順書に書いてない動きをして運用担当者が困ったんだろ。 >>1
＞残りの1台は、いったん単独で作動を始めましたが、およそ1時間後にこちらの装置も故障したということです。
他のスレでは、待機系へのフェイルオーバー実行時のオペミスで飛んだってあったが、ここだと「故障」となってるな。
どっちが正解なんだ？
因みに、オペミスでブッ飛ばしたんならそれを「故障」とは言わんぞ？ プロジェクトマネージャーに
経営層より権限を与えれば、綺麗につくってくれると思うが 文系役人脳は昔から
ハードに責任を擦る
物に口なし >>174
正サーバーのディスクのミラーリングの全滅と、サーバー・ディスクごと全部ある待機系への切り替えの失敗
(トランザクションログとかいうのが最新の状態まで適用できなかった）
両方が同時に起こってるけど、日経X-tech以外のマスコミが
自分のパソコンの知識で理解できた範囲しか記事にしてないだけ>>92 なんか失敗が初歩的過ぎるのが。。
もしかして運用されてるシステムと同等のシステム環境がテスト現場に無いとか？
装置故障による切り替え、両系装置故障でシステムの待機系への切り替えなんて、日常的にテスト環境で試すもんだと思うが、、二重に装置が故障する事が稀とか言ってるのが気になるわ。
いや、稀なんだろうが試験的には想定出来るルートだよなぁ。。 >>31
ブラウ・ブロが右左同時にやられたけど中央ブロックのコックピットに移れなかった 二重故障なんて一重故障と何一つ変わらないということを分かってないやつが多すぎる
五重故障だろうが八重故障だろうが、確率だけの問題で運悪くそこにはまったら一重故障と一緒なんだよ
「多重に備えてるからもしもの場合でも絶対に大丈夫」なんて思い込んでしまう頭が危険 最悪、頭取が謝って時間を稼ぐ、被害を受けた人にごめんちゃいで勘弁してもらう、とういのも
正式な復旧手順のステップの一つ 場合によってはシステム復旧手順の中に「頭取を辞任させてさらに時間を稼ぐ」というステップが組み込まれる場合もある
これがシステムの頑健性というもの >>174
ハードディスクの故障で対応してリビルドしているときに残った方も故障で二重障害
＋
たぶんまだ生きてた時にバックアップの装置にフェイルオーバーしようとしたけどミスで切り替わらなかった
＋
たぶんフェイルオーバーさせてないからバックアップ側のデータの同期がとれていないので使えない こんな信用のおけない銀行に、今も預けてる連中は、バカなの？ > 残りの1台は、いったん単独で作動を始めましたが
この文章はねーだろｗ >>180
いや、だからそれも含めて普通は手順がある筈だろ。
てかもしもの時でも長期に止まらない様にシステムってのは構築するもんだ。絶対に大丈夫ってのが無いから、最悪はシステムの再立ち上げ、ハード故障した装置の交換まで手順化しておくんだよ。 >>1
印象操作みずほ
経年劣化関係ない、メーカーが担保している保証期間過ぎても使うからだろ
この問題はハードじゃなく、完全にソフト=運用側の問題
TOP全員クビにして一時的に国有化しちゃえよ >>183
こんなのハード故障のテストで嫌と言う程やってるだろうに。もしミスで切り替わらないのだとしたら、そのテスト環境がおかしいんだよ。テスト環境で幾らテストしても本番環境で問題が起きるなら、テストしても意味がないテスト環境でテストをしていたって事だよ。
まぁ、まさかテスト環境で今回の様な事象をテストしてないって事は無いよなってのが前提だけど。 >>187
被害者は裁判をおこす手順もあるし、銀行は最悪破綻する手順もあるし
破綻したときに国が救済する手順もあるし、それで国の財政が破綻したときに預金封鎖する手順もあるし
国が立ちゆかなくなったときに他国に支配されて貧乏国に落ちぶれる手順もある
無政府状態になって弱肉強食で国民同士奪い合う手順まで準備されてるから大丈夫
これだけ多重化されたシステムがあるからよっぽどのことがなければ大丈夫 >>185
俺は三菱UFJだったけど、会社が給料振り込み先で銀行と支店を指定してくるので止むを得ず口座開設してるってのがある。
理由は会社と同じ支店にしたほうが事務処理が楽だから。 >>89
あれ当てにならん。壊れる時は壊れるから。
まだ稼働時間見て定期交換する方が遥かにマシ 給料振り込みの口座作らされたときにネットバンキング対応にしたな。
給料出たら普段から使ってる口座にスマホで振り込めて楽だから。
光熱費やらの引き落とし口座を変えるのはクソ面倒だと思った。 >>1
マスターとスレーブで同じロットのハードディスク使ってたんだろ
しかも壊れるまで予防保守とかやってなかったからシステム稼動後耐用年数を過ぎたマスター側がまず壊れて同じロッドだからほぼ同時期に壊れたっていうだけの話 システム用のハードディスクは回転あげてあるから壊れやすいだよね
つかいまどきハードディスクなの
100％メモリだとおもっていたぞ ２台目は復帰作業を間違えて人為的に壊したと別のニュースに載ってたが >>195
オペミスだって、日頃からテスト環境で故障時のテストを繰り返し、手順書を誰でも出来る様に作っておけば済む話 まれな故障が偶然重なった
これは容易な結論を導き出すのに使う理由なんだよ
これならもう調査しないで済むからな
稀な事象が重なるのは 大抵 関連がある >>99
これ復旧にマニュアル操作だらけとか論外だよ >>201
いや、マニュアルとか誰でも出来る様に手順書が無いなんてあり得ない。 報告内容を精査しろよ
取締役と金融庁は訴訟されるぞ レアなオペレーションだったからやった事がある人が少ないとかオペマニが分かりづらいんだろ 二重故障はまれではなく、システム系では非常によくある故障
だからメインとバックアップとは別に最低限の機能で動く非常用システム（メンテナンスモードやセーフモードなど呼び方はいろいろ）なんてのがあるんです。普通は >>135
年1でBCP訓練してるはずだけど。
会議だけして模擬訓練ヨシ！ってやってたならもう知らん。 それがあれば誰でも仕事ができる完璧な手順書なんて夢物語
ファーストフードのアルバイト用のマニュアルがすごいと聞いたことはあるが、コンピュータの操作は難易度が違うので無理だろう
例えばコマンドライン操作が必要になるとして、運用担当にコマンドの基礎的知識を期待できない
障害調査になったら出力情報を解釈する知識も必要
そういうことまで含めた膨大なマニュアルになったらその分量だけですでに把握不可能
手順書よりも引き継ぎと教育が重要な由縁 >>208
いや、オペレーター経験者が扱える位のレベルの手順書だよ。コマンドライン操作なんて、そのままコピペ出来るようなコマンドが手順書に書かれてるがだいだい必須だな。
障害調査とかは現場のオペレーターはやらないよ。それは障害の連絡を受けた開発側の人間がやるんだよ。だから現場のオペレーターは出力情報を解釈する必要もないし、膨大なマニュアルを覚える必要もない。
その辺りの仕事の分担は普通にされてるのが当たり前。 >>38
「はず」だよね。なんぼなんでも
２系統のRAIDが２つとも壊れたと信じたい >>209
なるほど
ではこういうトラブルが収拾に手間取るようになってるのは運用体制の縮小が原因ではなく、障害調査をすべき開発側の体制の縮小が原因かもしれないね
開発側の仕事はさすがに細かくマニュアル化はできまい >>211
いやいや、縮小じゃねーよ。
元々現場のオペレーターは手順書に従って作業を行い、障害調査等は開発チームの維持運用を受け持ってるチームが行ったりするんだよ。
そりゃ障害箇所により担当が分かれるから当たり前の話。そんなのを全体的に見るなんて不可能だし効率が悪いわ。 >>212
ん？
元記事にからめて、みずほのトラブル対応が他行に比べてどうダメなのかって話をしたつもりなんだがなんか勘違いしてる？
みずほは新システムの面倒を見る体制を縮小したって話があったやん
運用担当と開発側の運用チームのどっちが縮小したのが原因にしろ、マニュアル化しづらいところなんだろうなと SBIは嫌がってる新生銀行よりみずほ買ったら
今なら安く買えるだろ
旧三行出身の偉い人全員クビにしてSBIのシステムを使えばおｋ こんなクソみたいな言い訳したおかげで、他の銀行はいい迷惑だな >>213
その記事俺も見たが、以下の文が気になるわ
＞ この際、バックアップシステムに切り替えようとしましたが、入力すべき追加の指示を飛ばしたため失敗しました。
バックアップシステムに切り替えるコマンドや作業なんて決まってるんだから、そんなもん前もって、手順化しておけと。てか開発側関係無く、運用側で対応すべき事だよ。マニュアル化なんてし辛くないし。
その上でハード故障の原因等は開発側が障害ログ等を取得して判断する訳だけど、その作業でバックアップシステムへの切り替えが失敗するとか普通は有り得ない。 銀行の重要性を銀行自身が理解できていない
なんともマヌケな話
とっととつぶれろ みずほ銀行＝年がら年中システム障害企業
のイメージ。 大手SIerって人は多いけど詳しい人は多くないよ（手を動かす人少ないから）
ネームバリューや付き合いで大手に頼んでるんだけど中はスカスカで案件やれるとこを探してそこに投げるだけ
仲介屋がはびこってる状況
それなりのシステムを作りたければ、ちゃんとした給与で自社エンジニアを抱えないとね >>222
SCSKって、社員が委託先のデータ盗んだ会社じゃなかったっけ >>220
誰が？
記事の書き手？
それとも >>216？ 海外の金融業界トップは
天才エンジニアばかりなのに
日本の金融業界トップは
人脈コジキ営業畑の連中で
技術音痴のアホばかり だからフィンテック遅れてんだよここは。BTMUはそういう人材を集めているじゃん
詐欺が集中したドコモ口座との連携を拒否したのはBTMU
SMBCもそうだっけ ハードディスクが壊れたって、すっきりデフラグを毎日実行してなかったのか？ よくわかってない人が大手SIerに構築依頼投げて、よくわかってないSIerの担当者が下請けに投げて開発
下請けから仕様の問い合わせが上がって来てもよくわからないから回答できず時間だけがかかる
テスト量は無駄に多くて時間がかかる、誰も見ることもない大量のログがとりあえず保存される
運用マニュアルは作られるが、運用マニュアルを見て理解して作業できるレベルの人は現場にアサインされない もしデータ飛んで残高０円になっても銀行の記録が全てだろ、通帳見せて文句を言いても門前払いかな。 >>230
そのテストのログとか運用マニュアルとかを、たまたま他の下請けに希にいる分かってる技術者が見て問題点を見つけることもある
…だが何も起こらない
上層にそんな報告できないから 技術者を使い捨てたみずほの自業自得
みずほ銀行のような大企業様の経営陣という上級国民にとって、技術者というのは安く使い捨てできる奴隷、いやチリ紙のような物だったんだろうな。
それが今の #みずほ銀行 の危機に繋がってる。まさに自業自得、因果応報だね。
そのまま勧善懲悪系の教育絵本とかに書けるようなお話。悪は必ず滅びます
https://twitter.com/neko202102/status/1446971656539312128
https://twitter.com/5chan_nel (5ch newer account)
https://twitter.com/5chan_nel (5ch newer account) ハードディスク二本積んでるから大丈夫です！
R A I D 0 おれには
べつに
みぜんに防げないような
すてきな理由がありそうな気がする？ 規模がでかいと態度もでかいいしな
「買ってやるんだからテスト含めて全部おまえらやれよ」みたいな感じだから適当に試験されても気づかない
簡単にいうと無能ってことだが みずぽタンのデータセンターはモニターから何から全部2コセットだよね？
二重障害想定→三重化が必要だってことですかねw ストレージ装置のHDDが予備含めて故障したのか。
普通ありえんけどな。サポート切れ放置とか？ >>240
同じロットのディスクなら連日故障なんてザラにあるぞ 文系コジキ営業は全員クビにして
役員会は高級技術者だけでいい 双発旅客機のエンジンが両方とも停止したようなものだぞ
ETOPS180でもムリゲー
やっぱ4発じゃないとな 会社自体も二重化すべきと、みずほ第一で障害が起きたら、みずほ第二が業務を継承、障害が起きた会社は解散。 二重三重どころか多重故障が起きても
ダウンしないシステムであるべき >>246
それはアプリ開発がそう作るべきなんだよなあ
ま、ゲーム開発以上に緻密にやらんと作れないがw >>246
隕石が地球にぶつかって人類が滅亡してもダウンしちゃだめですか？ >>216
その部分は確かにターニングポイントではあるね
副機への切り替え成功してたら業務開始に間に合っただろうに >>249
一部システムがダウンしても、他のシステムは動いてるんだからもとに戻すのは大変だと思うぞ >>244
ギムリー・グライダー
ハドソン川の奇跡
フォワードスリップ
奇跡を待つしかなかった（なお絶望） 故障というより耐用年数切れだろ
同時にとんでもなんら不思議はない
壊れるまで交換しないって銀行として大丈夫なのだろうか みずほとか富士通とかゴミ企業は末端のクソ企業がどんなPCで仕事しとるか見た方がええで
メモリ4Gとか8Gとかでスワップしながらすんごい低解像度の画面とにらめっことか
並のプログラマとかSEとかすぐ逃げてまうやろ ■ このスレッドは過去ログ倉庫に格納されています
