【Pay】楽天ペイの障害、原因判明 QTnetデータセンターでUPS外して作業→停電→システム障害★２
■ このスレッドは過去ログ倉庫に格納されています
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55
九州電力の通信子会社QTnet（福岡市）のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。
まだ22社が復旧できていない
[画像タップで拡大表示]
今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。
今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。
https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/
※前スレ
https://asahi.5ch.net/test/read.cgi/newsplus/1574769800/ なんで外すの？ データセンターの管理者は何してたの？ ううん？ 【経済】LINEの情報が韓国政府に筒抜けという報道。上場を前にLINEが大波乱 2014/06/22 【個人情報】
■LINEの個人情報はどに保管されているのか？
無料通話チャット・アプリLINEの情報が韓国政府に筒抜けになっているという報道が波紋を呼んでいる。LINEの森川社長はすぐに
全面否定のコメントを出したが、騒動はすぐには収まりそうもない。LINEは上場を前に大きな課題を抱えてしまった格好だ。
きっかけは、韓国の国家情報院（旧KCIA）が、LINEを傍受し、収拾したデータを欧州に保管、分析しているという月刊誌FACTAの記事。韓国政府のサイバーセキュリティ関係者が、日本の内閣情報セキュリティセンター（NISC）との協議の場で認めたという。
傍受の方法はシステムに直接侵入するのではなく、通信回線とサーバーの間でワイヤタッピングするというもので、韓国の国内法では
違法にならないという。記事では、LINEの日本人ユーザーの通話データなどが韓国政府に送られているとしている。
LINEの森川社長は、「LINEの通信は、国際基準を満たした最高レベルの暗号技術を使って通信されていますので、記事に書かれている
傍受は実行上不可能です」と反論し、「看過できない記事」であるとしてFACTAに強く抗議している。
元CIA職員であるスノーデン氏の事件で明らかになったように、各国の情報機関が通信回線からデータを抜き取っていることはもはや常識である。
LINEは韓国企業ネイバーの子会社であり日本資本ではない。同社が韓国政府からの情報収集対象になっていないことの方がむしろ不自然なことである。
ネットでは、森川社長が「傍受は不可能」と言い切ってしまっていることから、逆にそれを不安視する声も上がっているようだ。 【安全保障】ヤフーとLINE統合へ…裏で何が起きていたのか？ 鍵は韓国大統領と孫会談にあった 2019/11/14 【個人情報売買】
■統合には両社の台所事情も影響
両社の統合に経済合理性があるというのは、米国や中国のメガプラットフォーマーと対抗するという側面があるとともに、両社の台所事情も影響している。
特にSBGについては、孫氏が創成した10兆円の「ビジョン・ファンド」が投資するシェアオフィス大手・米ウィー・カンパニー（We Workを運営）が
新規株式公開（IPO）を延期したのを境に市場ではビジョンファンドが投資する他のユニコーン企業群についても疑念が持たれはじめている。
直近の7〜9月期決算はビジョン・ファンドの巨額損失で「ぼろぼろ。真っ赤っかの大赤字」（孫社長）に転落した（最終損益は7001億円の赤字）。
一方、LINEも主力の対話アプリの成長が頭打ちとなり、新たな収益源の確保に迫られている。金融事業を含む戦略事業の営業損益は赤字で金融事業のテコ入れは待ったなしである。両社が接近するのは自然の流れと言える。
流れを決定付けたのは孫氏の韓国政府への接近
そして、その流れを決定付けたのが孫氏の韓国政府への接近だった。
経産省関係者は、「孫正義氏は7月上旬にソウルで文在寅大統領と会って握手している。韓国から金を引っ張るつもりだ」と明かしていた。
その席で何が話されたのか。ビジョン・ファンドへの協力とともに、LINEの親会社である韓国ネイバーへの働きかけがあったのではないか。 公文書改竄・破棄を大問題と思わないヤツってホントに何なん？
こんなんが平気でまかり通るなら、いつ自分や家族、近しい友人が殺人犯に仕立て上げられるか分からんってことだぞ？
少しでも危険だと思うなら、次の選挙ではつべこべ言わずに自公維以外の野党に入れろ。ついでにマスコミがちゃんと扱わないから代わりにその危険性を周囲に触れ回って考えさせろよ
俺は警告したからな やっぱ清掃のおばちゃんがやらかしてたか
しゃーないな これで障害発生とか脆弱すぎるだろ
他にまだ不具合を隠してるんだろ 掃除のおばちゃんがコンセント抜いたんじゃなかったのか なんで今でも機能不全続いてるの？コンセント差したらすぐ直るだろ 10分たけ安全装置を外して作業していた時に「事故」が起こり停電してしまった
不幸な出来事や
運が悪かったんや まあ消えても数万だから個人側からは大したことないけど 緊急停止は想定できても、即死の場合は何がどうなるかわからんから復旧手順すら作れない。
一時間くらい巻き戻すこと前提に手順つくるわけにもいかんし。 電力会社の子会社が
無停電電源知らないとか
バカですか？ リレーサーバの機能は無かったのが驚きだわ、
ここへもうだめね 電源設備の更新作業
全部取っ払って綺麗に入れ替えました最短で そりゃあ電気工事側からすれば
絶縁したいんだから
そもそもサービスを停止すればいいだけの話
感電死してサービスも停止なら
炎上マーケどころかって話 それはそれとして、未だに復帰できない22社は別の原因も抱えていそう。 え?お金扱うのに金融グレードのサーバーじゃなくて
そこらの下請けのデータセンター使ってたのかよ
こんなの法規制しろや ゆとりw
無停電源装置なんて設置するの時間の無駄じゃないですか？
だった7分止まっただけで壊れるなんて、このサーバーの製造責任じゃないですか？
何億の損害？僕アルバイトですけど！ 普通にUPSってそんな使い方するもんなの？
普通に電源切り替えで負荷側は稼働してますとか
怖いんだけど？ 原因はデータセンターのミスとはいえ、金融機関の決済システムが業務継続できるようになってない設計なのはクソすぎるわ。今時災害対策は当たり前なのに。
金融庁は徹底的に指導してほしいわ。
PayPayもそうだが決済システムをなめすぎだろ 作業員「10分くらいだからUPS外したままでも大丈夫だろう」
↓
全停止 そもそもUPSはあくまで想定外の為のものじゃないのか？なんで電源を別系統で確保せず作業するんだ？もう頭の中全てがおかしい
こんなんがデフォルトな思考ならそりゃ日本のIT基幹システム終わってる訳だ うーん･･･
商用電源をループ型とか多重受電で多重化し、その上に自家発安定稼働
までUPSかCVCFで保護し･･･ では無いのかなぁ。
電力系のDCって「1需要家1受電」原則を無視できる施設だから、
商用電源レベルで多重系統受電することも可能なわけで、電源安定化
の面から考えるとお勧めだと思ってたんだけどね。 >>42
upsの動作までは想定内、その間にサーバーを停止させる。 QTnetの作業は業者としてダメだろうけど
楽天カードはDRサイトもってないの？？
姪浜データセンター周辺で災害が発生したらどうするつもりなんだろ
BCPとかどうなってんの？？ 仮想通貨→業者「金融庁公認!出川!」→大暴落
電子決済→業者「政府公認、キャッシュレス還付!」
→システムトラブルで出金不能
こんなんばっか >>45
だよな。
BCPの点でもだけど、「オバちゃんバケツ事故」でいきなり対応に追われた
人間は、1つのDCに業務を集約するのは凄くリスキーだって判ると思うんだけどね。 通電してできない電源工事だったのか？
サービス一時停止の事前連絡が必要だったのか？ DCの分散の問題？
サービスの停止スケジュールの問題？
工事の問題？
詳しい人、詳しく >>42
違うぞ、普通電源切り替えや、全断したとき発電機動くまで、瞬断や発電機稼働までの数分間を補うために付いてる。
データセンターの電源は普通にUPS配下にあるのが当たり前。
まあこういうときの想定だと、万が一備えて、予備のUPS準備して交換するとこもあるが、数分間のために数百万掛けて予備UPS借りて備えるかいわれると、難しいところだね。
今回は多分、安全よりコストをとった結果起きた事故、経営判断ミスったんだろうと思う。 >>51
普通は大金扱うところは予備の予備あたりまで準備するもんだが UPS外してたがために即死で、
停止手順踏めなかったから、データが壊れた的な感じ？ >>51
UPSつけてなかったて書いてあるがな
もともとついて動作してたものをわざわざ外すとも思えないし
なぜかups無しで稼働してたんじゃね
クレカの決済システムが無停電源装置すら繋がってないとか下請作業員にしてみたら想定外だろう 数日前にはメンテナンスでauペイ止めてたんだから楽天ペイでできないわけないのに >>44 >>51
ありがとう勉強になったよ
誰もが知る会社のデータを取り扱う大きな会社でもこんなタマヒュンな事するんだなあ
最低限提案してる通りUPSに予備のUPS付けるくらいするのが絶対だと思ってたからショック UPSなんて普通…物理的に手を付け無いでしょ…
なんでこんな手順にしたんだ…ってか事前に手順考えないのか…？ 悪天候とか地震の時なら停電もそれなりの確率で
有るかも知れんが、ただ平常時に停電する事殆ど無いし
たまたまのups抜きのシステム更新作業中にそれが
起きるなんて偶然にしては可哀想だわ UPS外すなよｗ
AからBに切り替えるときにUPSが入ってれば無停電でいけるじゃん
明らかに作業手順に問題アリ >>55
もともと停止しちゃいけなかったんじゃね
クレカの決済だったらその数分の停止でも凄い損害だろうし
主電源から予備に切り替わるとき数秒電気流れないけど、データセンターだからUPS繋がってるから大丈夫なはず
とタカをくくったらUPSが繋がってないか電池切れてて死亡 >>61
たまたま停電になったのではなく、予備電源に切り替えて作業するところで
予備電源を外したままだったということだろう
不運ではなくただのポカミス >電源設備の更新作業中
まさか…電源設備交換にUPSも含まれていて、一発でやろうとしたとかじゃないよね…？
分けてやると金かかるとかなんとかで、一度にやろうとしたとか…？ この作業に関わってた人間ってみんな胃に穴開くくらいストレス感じてんだろうなあ
転職したって付いて回るとんでもない無能の烙印は押されてるだろ サーバーかストレージぶっ壊れてたら目も当てられないけど7秒間ならラックにUPS付けてれば大丈夫か 手順書だけ作って、脳内シミュレーションなんてのも、実務経験ほとんどないから出来ていない上流ベンダもしくは２次請けと
手順書を機械的にやれば契約的にOKな多重下請け、違法請負業者のコラボによる、よくあるミス
クラウドだかなんだか知らんが、そもそもネットワークも資格試験だけの知識で
サーバ構築なんて適当にしか出来なくて、挙句仮想化なんて知らんやつがクラウドとかインフラ語っている業者が増えたから
まぁ仕方ない
大手なら尚更 ＵＰＳの電源コードを経理の智子さんがけつまづいて抜いてしまったんだわ
システム障害が発生しない現金払いが最強だとハッキリ分かっただろ >>67
家のパソコンなんて停電何回もしてるけどなんともないのに、何でサーバーはすぐに死ぬんだろう
ミラーリングとかは安全そうに見えて逆にちょっとのデータ破損で再起不能になる印象 しかし何で朝っぱらにこんな重要な作業始めるかね。深夜にやりゃまだ影響も少ないし復旧の時間も取れただろうに。 普通はデータセンターだけではなくサーバ側にもUPSは付いてて
仮にデータセンターの電源が途切れても安全にシャットダウンできるようになってる
なのにまだ復旧できないのが２２社あるということは、
普通のPCをサーバとして代用してるような企業がそれなりにあるということ
このデータセンターにしてこのユーザ企業ありってところだろうな
色々とレベルが低すぎる >>77
>サーバ側にもUPSは付いてて
サーバに内蔵されているわけじゃないで、別途UPS購入しないと
あとエージェントソフトも設定しないとね、各サーバOSに
更にバッテリーも２・３年おきに交換やで
釣られちゃったのかな(´・ω・`) この手の作業する人って詳しいわけじゃないからね
渡されたマニュアルにしたがって作業する人たち
問題はマニュアルがあっても安心できない人たちが作業するところ いかにも無能だらけになった日本らしいなw
最近若手が育たないし、上はダメ世代だからな
クオリティ低い腐れ企業だらけ 国産ITじゃまず若手は育たないね
特に大手正社員新人だとスキル付ける前から派遣社員のリソース管理をやらされて
何をやるにしても「誰かに仕事を振る」ってことしか考えない人が出来上がる 普通こういう勘定系のシステム扱うデータセンターってバックアップ拠点作って
すぐにフェイルオーバーできるようにしてるもんなんじゃないの…？ >>78
スマホとかノーパソにサーバーOSインストールすれば
車のバッテリーに毛の生えたUPSと大げさなサーバーマシンなんていらないし、便利だと思うんだけどね
スペースあたりの性能だったらスマホ並べた方が性能良さそう、そういうサーバーないのかな >>82
なんだかんだいってどこもコスト最優先なんだよね やっすい外注に作業レビューの時間も与えないで丸投げしたんだろw
発注者は機器構成も切り替え運用手順も構築時の外注に丸投げだったから
今回の業者に当時の書類フォルダ
ドカッとなげてあとは知らんぷりw ポイントサービスはあくまでおまけなんで
あまりほんきださんとこと思ってたらやだな だから言ったじゃんやっぱ現金が
…え、そういう話じゃない？ 海外色々回ったけど日本の技術者あっちの小学生レベルだ。
ビジネスといえば店子から搾取するだけの楽天とか土人国家かな。 日本人がキチガイなのは母親にフェラチオしてもらってるからだからな ■ このスレッドは過去ログ倉庫に格納されています
