【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害
レス数が950を超えています。1000を超えると書き込みができなくなります。
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55
九州電力の通信子会社QTnet（福岡市）のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。
まだ22社が復旧できていない
[画像タップで拡大表示]
今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。
今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。
https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/ >>827
北海道の大規模停電を忘れたのかね
時代は変わってるんだよ スノーデンがワンクリックで日本中のシステムをダウンさせることができるっていってたな。 >>807
大陸バッテリーでもメンテで交換してる方がマシかもｗ
秋月は少しGSユアサも扱ってるけどね >>838
それだ！！！
今回のような事故を防ぐには、サーバー機を全部ノートパソコンにすれば良いんだ！
サーバー機がノートパソコンなら、今回の事故は１００パーセント防げた。 >>669
楽天カードもYJカードも元は同じ国際信販
九州の会社 >>837
銀行でシステムダウン→金融庁に怒られる
証券でシステムダウン→金融庁に怒られる
通信でシステムダウン→総務省に怒られる
電力でシステムダウン→経産省に怒られる
楽天でシステムダウン→客に怒られる(ハナホジ 12月の請求の扱いだけきになる。
事故る前の分消えた噂は本当なのか？ ＵＰＳくんも悔しかっただろうな
俺がいたら大丈夫だったのにー！
穀潰しと陰口言われながら無駄飯くって居座ってたのはこの日のためだったのにー！
って マスコミが連動して楽天攻撃してたから計画的な可能性すらある。
雪印や不二家もやられたよね、 楽天信用失墜とか言われて三木谷相当怒ってるだろうなぁ
賠償金要求された上にデータセンター他社に徐々に移されて最終的に倒産まであるか UPSが壊れててもそのままにしとく会社ってありがちだよね
で、おなじみの >>752
令和元年台風19号の消防ヘリ救護者落下殺害事故を思わせる データセンターで働いているのが全員派遣社員で正社員が１人もいないところとかもあったぞ。
しかもサーバーの種類も知らない程度の奴がテープ交換作業やっていたりとか。
UPSが予備で稼働してない状態でサーバーを運用して電源更新工事とか素人しかいなかったのだろう。 たぶん、現場は急がされていたと思う。
確認しないのも悪いけど、こういう業種は時間との勝負だもんな。
でも、将来のAIには抜けは停止するコンセントはそばにつけておいて欲しい。 >>856
パフォーマンス落ちるやろｗ
専用の作るならともかく
汎用の使ってんだろうしｗ >>863
さすがにデータ保全はしてるはずだから多分ちゃんと請求来るｗ >>837
楽天自身に技術ノウハウがなくて、実績なＳＩＥＲを使えば良い話
その辺もケテったんでしょうね 何処かでデータセンターで火災起こったことあったよな。同じ事が起きても詰んでた訳だ。 >>769
> upsって補助電源みたいなものだろ？
それはあってるけど
> コンセント→ups→PCじゃないのかな
この状態でUPSがつなげてあるコンセントから電源ケーブル引っこ抜いても動くためにあるのがUPS
電源にも冗長性を求めて構成するとこう
https://jp.fujitsu.com/platform/server/primergy/peripheral/gp5-upc04/image/image04.gif >>668
無停電電源装置がＵＰＳ
定電圧定周波数電源がCVCF
因みに理屈は一緒 これ大事なデータふっとんで復旧できなくなってんじゃない？
ハードは壊れてないけど再開できる状況じゃないとかｗ >>834
データ復旧観点のテストなんかできんだろう
そこはどこでリスクを担保するかの範疇超えてると思うが >>869
いやー、電源設備入れ替えだから全部バイトはないだろう >>878
生保・損保もやってるんだぜｗ
実際に災害が起きて名寄せできるのか怪しいもんだわ セーブモードで起動できないのか？
Windows以下だな >>856
セル方式だと高い頻度で機材の交換やデータ移行が必要になる
技術者常駐のDC以外は保守不可能 >>832
楽天みたいに総出で叩かれることなどなく、スルーされたよ。 来年の情報処理技術者試験にはこのテーマで一題出そうな気がするなｗ 麻酔や生命維持装置無しで手術したら死んだでござるの巻 一方北海道の震災で全域停電しても
さくらのDCは非常用発電で乗り切った >>884
普通はそうだが、既に普通じゃない事態が起こっているからな UPS外すぐらいだし、重要データのバックアップも取ってないとか。 >>867
論外だけど結構多いよね。
小さいとこは >>888
ファーストサーバも普通に袋叩きにされてたがな 二子玉行ったことあるけど、自前のエンジニアよりベンダーの巣窟だった印象が。
出入り業者もランチ無料とかでいいなってw
ただサーバのチームは社員やベンダーの外人部隊だった気がする。 >>888
「まあヤフーだからね」がここの総意だったなｗ >>856
実際悪くないよそれ
やったことあるし
>>872
まあ、確かにパフォーマンスはでないんだけどね
処理能力がどうでもいいやつなんかは取り回し楽で役に立つ >>891
あのときは非常電源で乗り切ったところ、
別サイトに切り替えたところ、色々あったみたいね。 >>781
今どきのシステム構成はよう知らんが
仮想化技術が当たり前になってからは
可用性なんて当然のごとく保証される構成が普通になる時代が来ると思ってた 掃除のおばちゃん「寒い部屋だわ、ちょっとホットプレートで焼肉しよ」 犯人探ししてる暇があったらとにかく復旧させろよマヌケ >>856
ノートパソコンのバッテリー交換作業中にコンセント抜けたのが今回の事故やで クビになっても
楽天のｖｓ企業に面接行けば雇って貰えるね
おもろ >>397
7秒間にどんだけアクセスがあると思うんだ 単発サーバでやってたの? バックアップなし？
携帯は5000人試用でも使い物にならんかったし 楽天お粗末すぎワロタｗ >>912
イーバンク銀行って経営的に上手くいってないから
ライブドアの出資受け入れて乗っ取られそうになった銀行だぞ >>909
仮想環境もハードウェアの上に成り立ってるから電源落とされりゃ終わりだろ
折角仮想化してるのに予備系作らなかった場合は知らん ヤベッって言いながら即刺しして余計トラブル起こしてそう なんでUPS外したの
よしUPS外すぞって外したのか何かの拍子にやっべ外れちまったなのか
どちらも考えがたい
安倍ちゃんが引っこ抜いて逃走した陰謀説の方がまだ納得できる まあ、まさか常用電源が設定ミスで落ちるとは思ってなかったから >>914
でも九州電力の保守作業員が、ラックをあけてノートパソコンのバッテリーを外さないだろ。 >>916
5ちゃんの「バルス」よりは少ないんじゃね？ 電源が落ちたのはデータセンターのせいだとして、未だに復旧させきれないのは
電源喪失時の復旧手順を楽天は持っていないってことなんだよ データセンターでしょ？
お粗末すぎる
素人かよと思う >>916
アクセス数以前に電子機器で電源停止なんて1秒でもアウト >>921
UPSこうかんすっぞ
で交換中に元電源が設定ミスで落ちた >>912
支店名がこっぱずかしいｗ
ダンス・サルサ・リズム・ラテン・タンゴ… >>914
そういう事かやっとわかった
説明上手だな この騒ぎでヤラカシたQTネットの良いところは、
CMキャラに川口春奈を使っているところ
他は知らん ネジ抜いて外したってことだから
根本的に間違った奴が作業してたな >>919
電源の話じゃなく「待機系がない」ということに対して言ってるんだが なあ、パワープラグとかUPS間違えて抜いたとかトンチンカンなこと言ってるのおるけど、ご家庭のコンセントとセンターの受配電設備を同じに考えちゃだめよ
しっかりした設備だと電源の接続は例えばこんな感じの分盤内に並んだ端子台に太いケーブルをボルト止めしてあって、抜くにはまず端子台のカバーを外し該当端子以外をビニールやテープで養生して2〜3人がかりで外すようなものだ
https://i.imgur.com/4140Dsf.jpg
UPSも設備用の数十kVAのはこんなイメージで人の背の高さくらいあるのが多い
https://i.imgur.com/zocxyEY.jpg
推測だけど設備更新ってことだからUPS含めて片系の盤を完全に止める前提の作業だった可能性があり、作業員が間違ってコンセント抜いたとかいう単純なミスではないだろう
もしそうならもう片系の冗長性をどこまで担保するつもりの手順書だったのか、そもそも障害でもう片系も止まってしまうリスクを業者・施主ともに把握承知したうえで作業していたかどうかが問われる スレタイしか読まない馬鹿が楽天を批判してるのが一番滑稽だよな。 >>914
ノートパソコンのバッテリー交換でコンセント繋げないだろ普通。
電源落としてからバッテリー交換しないの？ UPSの意味無いな
うちの会社の糞鯖ですらUPS繋いでしょっちゅうピーピー鳴ってるぞ >>926
そらそうだ
データセンターが非常事態で電源喪失する場合は
非常用電源の残量見ながらサービス停止は想定しているだろうが 良くわからん。
電源2系統以上あるだろうし
電源周りのメンテ作業で片系運転してて
正系に問題が起きて、正系につないでるUPSもバイパスにしてたってこと？ >>6
文面読む限りセンター側のUPSじゃね？CVCFがあるセンターでラック内に自前のUPS置くことは基本無いと思うが。 >>921
UPSってのはノートパソコンのバッテリーみたいなもんだから定期的に交換必要なのよ
で、交換作業中に主電源が落ちたのが今回の事故
予備電源が立ち上がるのに7秒かかったがその間バッテリー外してたから電源が完全に喪失した >>937
復旧しきれないことについては楽天は批判されてしかるべきだと思うが >>1
誰かがコンセントに足ひっかけて外しちゃったようなもんか。 >>926
DBの整合性が壊れてシステムが動かなくなったんじゃね？ レス数が950を超えています。1000を超えると書き込みができなくなります。
