【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害

レス数が1000を超えています。これ以上書き込みはできません。
0001サーバル ★2019/11/26(火) 21:03:20.86ID:ET7vslJr9
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55

 九州電力の通信子会社QTnet(福岡市)のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。


まだ22社が復旧できていない

[画像タップで拡大表示]

 今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。

 今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。

https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/

0952名無しさん@1周年2019/11/26(火) 22:57:46.36ID:mCstG1/N0
>>944
データセンターなんて
主電源自体がある意味巨大なUPSから引いてるのに
そこを寸断しちゃったらどうしようもないわな

0953名無しさん@1周年2019/11/26(火) 22:57:50.16ID:RdmRNjdl0
>>935
ブレーカーみたいだな
ボタン一つで落とせる?

0954名無しさん@1周年2019/11/26(火) 22:57:54.50ID:PNC4PlrA0
>>944
2系統の切り替え時の短時間の瞬断を受け持つUPSを交換中によりにもよって切り替えが発生してしまった

元系統がおちたのは過電流遮断器の設定ミス

0955名無しさん@1周年2019/11/26(火) 22:58:03.13ID:y8cj9/Tl0
掃除のおばちゃんがコードに足ひっかけて的な

0956名無しさん@1周年2019/11/26(火) 22:58:04.80ID:Ufy/Siq60
ここまでリスク高い作業なら他の更新が完璧だったか確認してからやらんと駄目やん

0957名無しさん@1周年2019/11/26(火) 22:58:14.79ID:uaILbGtu0
>>862
ワロタ

0958名無しさん@1周年2019/11/26(火) 22:58:18.93ID:50WrBZaw0
>>183
おもしろい

0959名無しさん@1周年2019/11/26(火) 22:58:25.17ID:FfsKa6RV0
電源喪失とか福島かよ

0960名無しさん@1周年2019/11/26(火) 22:58:27.57ID:PyDLg8ol0

0961名無しさん@1周年2019/11/26(火) 22:58:32.94ID:NJk0aXYa0
データ飛んでたりしたら面白かったんだがな
今月分チャラとか割と凄い事になる

0962名無しさん@1周年2019/11/26(火) 22:58:47.57ID:yc3fWVal0
ペイはいらない。Edyだけでいい。

0963名無しさん@1周年2019/11/26(火) 22:58:52.08ID:llkP5L890
よくわかんないけど、下請けがやっちゃったのかな

0964名無しさん@1周年2019/11/26(火) 22:58:56.92ID:B1iIe/260
>>183
あかんww

0965名無しさん@1周年2019/11/26(火) 22:59:00.71ID:tremikjy0
そんなことより期限切れになったポイントどうしてくれんだよ!!

0966名無しさん@1周年2019/11/26(火) 22:59:05.31ID:q/mFIeb80
なんか2UくらいのUPSと勘違いしてるバカが多いな。

0967名無しさん@1周年2019/11/26(火) 22:59:09.76ID:G7FYxZ3e0
データセンターによってはUPSのバッテリー障害あるからやめたほうがいいよ!って言われる。

0968名無しさん@1周年2019/11/26(火) 22:59:19.96ID:CiwIAXOW0
>>953
物によるけど普通のUPSは手順踏まないと停止しない
容量が大きくなれば成る程落とすのが面倒臭い

0969名無しさん@1周年2019/11/26(火) 22:59:42.64ID:8FHO3ODY0
AWSにしとけばこんな事には…

0970名無しさん@1周年2019/11/26(火) 22:59:51.52ID:mCstG1/N0
>>963
いずれにしろプライムのPM死亡だな

0971名無しさん@1周年2019/11/26(火) 22:59:55.38ID:t27wPPun0
現場SEねこ「ヨシ!」

0972名無しさん@1周年2019/11/26(火) 23:00:02.43ID:y7gxRRm90
>>969
この前やらかしただろw

0973名無しさん@1周年2019/11/26(火) 23:00:12.54ID:agJZQoOJ0
>>960
ありがと

0974名無しさん@1周年2019/11/26(火) 23:00:29.45ID:57C/vQwu0
>>949
楽天カードの12月の請求がまだ見れない。

0975名無しさん@1周年2019/11/26(火) 23:00:30.90ID:UZuVCKTs0
携帯も開始遅れるし毎度楽天はやらかすよな

0976名無しさん@1周年2019/11/26(火) 23:00:31.63ID:ogQipJ9B0
DIO様的な、吉良吉影的な、ディアボロ的な

0977名無しさん@1周年2019/11/26(火) 23:00:39.04ID:6xi6JxKT0
>>944
UPSメンテ中に正系電源が喪失したって話でしょ
本来なら非常用電源に切り替わるまでの間をUPSが埋めてたのに、UPS全部外してましたと

0978名無しさん@1周年2019/11/26(火) 23:00:48.81ID:N+/2MhTS0
>>775
>>776
DCに落とすための客用意UPSはあんまり置かない
基本落ちない前提
DCにあるのは停電や切替ブランクをしのぐための単なるバッテリー
メンテのために切替無効にしてるところに稼働系が落ちた

0979名無しさん@1周年2019/11/26(火) 23:00:51.57ID:Tiy50nK10
上の方にも書いてあるけど CVCF やろね。
こんなのかな?
http://www.yamamotosangyo.co.jp/business/cvcf.php

0980名無しさん@1周年2019/11/26(火) 23:00:56.03ID:9t+NQkRyO
>>930
プロのダンサーがダンス支店だった。やつらには人気らしい

0981名無しさん@1周年2019/11/26(火) 23:01:20.28ID:HG74HcL60
>>909
流石に電源丸ごと落ちることを想定するのはそれなりのプロじゃなきゃ無理だろ
普通のIT土方には無理

0982名無しさん@1周年2019/11/26(火) 23:01:33.68ID:egYxuyTq0
>>932
責任とって川口大河降板
NHK涙目で次の後任探しw

>>949
まだ混乱中です
楽天のスレより

174 名前:名無しさん@お腹いっぱい。[sage] 投稿日:2019/11/26(火) 18:17:59.89 ID:Ll/5YTHl
楽天カードまだ使えねーじゃないかよ

この度は楽天市場内のショップ「○○オンライン」をご利用いただきまして、誠にありがとうございます。
ご注文いただいた商品のお支払い方法にクレジットカードをご指定いただいていますが、クレジットカードがご利用いただけない状態です。

恐れ入りますが、以下の情報をご確認のうえ、お支払い方法の変更、またはクレジットカード情報の修正をお願いいたします。
なお、期限内に変更されなかった場合、本注文は自動的にキャンセルされますのでご注意ください。

■ お支払い方法変更・修正期限
   2019年12月03日まで
■ お支払い方法の変更・修正はこちら

0983名無しさん@1周年2019/11/26(火) 23:01:36.75ID:Tiy50nK10
仕方ない。クールポコを読んでこよう。

0984名無しさん@1周年2019/11/26(火) 23:02:00.54ID:05yMyzdZ0
>>66
これ

0985名無しさん@1周年2019/11/26(火) 23:02:07.22ID:ErZD2LJj0
>>954
事前に受電系とは完全に別系統の例えば非常用発電機系に切替えた上で作業できる環境なら良かったんだろうけどね

0986名無しさん@1周年2019/11/26(火) 23:02:16.15ID:ilrb6mMr0
やらかした下請け今頃阿鼻叫喚なんだろな…
なんか理由があって外してたのかは知らんが

0987名無しさん@1周年2019/11/26(火) 23:02:26.57ID:Pn0wCORh0
>>983
オムツか

0988名無しさん@1周年2019/11/26(火) 23:02:48.92ID:y7gxRRm90
>>66
金融系SEを土方と馬鹿にする権利は奴らには無いよな
実際の体制がどうなっるかは知らんが

0989名無しさん@1周年2019/11/26(火) 23:03:09.52ID:eYZ+MB4M0
ヽ(・ω・)/ズコー

0990名無しさん@1周年2019/11/26(火) 23:03:20.23ID:agJZQoOJ0
これだと、電源冗長考えて楽天も構築してなかったな
災対発動もできないみたいだし、金掛けてないんだなやっぱり

0991名無しさん@1周年2019/11/26(火) 23:03:31.43ID:I3MOAOY90
>>981
普通のIT土方じゃなく、本物SEの仕事

0992名無しさん@1周年2019/11/26(火) 23:03:32.22ID:tCJywA4Z0
こんだけやらかしても首になって再就職出来るからいいよな
刑事事件ものだろ他の国なら

0993名無しさん@1周年2019/11/26(火) 23:04:18.46ID:Tiy50nK10
>>987
なぁ〜にぃ〜やっちまったなぁ!の方だ w

0994名無しさん@1周年2019/11/26(火) 23:04:29.56ID:N+/2MhTS0
>>944
分電盤の内側に小さいUPS並べるとも思えないし
UPSより内側の分電盤が落ちたんだろ

0995名無しさん@1周年2019/11/26(火) 23:04:48.59ID:uSFY7QRn0
なぜ外した

0996名無しさん@1周年2019/11/26(火) 23:04:49.82ID:1QVBhZA10
>>941
>>943
地震など物理的破壊を伴う事故だと冗長系含めた全電源喪失は普通に起こりうるから
サービス無停止系の対策は無理だが復旧手順は必要

0997名無しさん@1周年2019/11/26(火) 23:04:57.96ID:TXN9ffIS0
運が悪い奴もいるもんだな。
人災だがにしても。。。

0998名無しさん@1周年2019/11/26(火) 23:05:38.91ID:THP1X9zk0
1000ならサーバル記者しね!

0999名無しさん@1周年2019/11/26(火) 23:06:01.29ID:cAqW0cR20
停電するんで全ての電源を切ってください、を忠実にやってたりして

1000名無しさん@1周年2019/11/26(火) 23:06:02.69ID:Bth7X8XJ0
おいいいいい
三木谷怒ってるかもしれないが、みんなで殴りに行こうぜ?

10011001Over 1000Thread
このスレッドは1000を超えました。
新しいスレッドを立ててください。
life time: 2時間 2分 42秒

10021002Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php

レス数が1000を超えています。これ以上書き込みはできません。