【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害
レス数が1000を超えています。これ以上書き込みはできません。
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55
九州電力の通信子会社QTnet（福岡市）のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。
まだ22社が復旧できていない
[画像タップで拡大表示]
今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。
今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。
https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/ じゃあ人為ミスだな
大事なサーバーをUPSに繋げないなんてどういう神経してるんだろ 馬鹿じゃねーのというところだけど、なぜこんな馬鹿なミスが起きたのか、だな。信じられんミスだけど。
賠償は10億じゃ済まんのじゃないか？ 楽天がやらかした➡まあそんなもんだろ
QTがやらかした➡えっマジか？ これって現場では予見できない事なのか？
担当者が特に無能だったわけではなく、システムの盲点で相当に気付きにくいものなの？
賠償金発生するんかな？ >>17
災害じゃなく誤ってシャットダウン⇒システム障害
賠償だろ >>17
できるでしょ
無停電電源装置をカットするのがおかしい だめじゃん
分かっていても分かっていなくても
繋がっている機器を外していいわけねーだろ これって
データセンタ全体の電源が停止
で
楽天のサーバーはUPSがなかったから
即死
ってこと？ Apple Payにカード追加したいのに出来ないのはこの影響なのかな
調べても公式は特にアナウンスしてないし >>34
作業するのに間違えてUPS外したんじゃねーかな、データセンターだから楽天は被害者 主電源+補助電源+予備電源
というシステムでないのか 昔だが、DC法定点検で一応待機してたが、UPSどころか非常電源刺さってなくて落ちて偉いことになった。 俺ソフト屋だからハードのことわかんねーよ、ってな? 何のためのDCか分からんような話だな。
もうQTnetは新規のホスティングは取れず、既存客は当分タダで運用だろ。 九電とかQTnetはお堅いイメージがあるけどなあ
下請けにパワハラ的な丸投げか？ ヤフージャパン子会社の
サーバーデータをバックアップごと消しちゃいましたﾃﾍｯ
っての思い出すな さすがにもう使えるかなと思って、久しぶりに通販で払おうとしたら決済できんかった。
カードにハサミ入れようかな。 頭にきた。 >>46
貯水槽清掃のあれも孫請けかなんかだったしね >>33
変わりの人材なんて幾らでも居る！ → 結果
これが今の日本の姿 楽天のモバイル環境開発手詰まり状態でハード資源とかもそこら中からかき集めてるって話だから
単純にミスってわけでじゃないよ 受けるｗｗｗ
大事な設備なのに金払わないで適当な業者にやらせたのかな UPS外して作業?
UPS故障でもしない限りなくね? なんだこれ楽天じゃなくて、その設備を更新していたQTネットとか言うところのチョンボですやん。
しかも九電の子会社って。おまえら電気のプロやないんか！ Googleみたいにサーバーごとに直接UPS接続してればこんなことにはならなかった ペイが付くやつらはなんかやらかさないといけない決まりでもあるのか 多くの企業がそうであるように、外注企業が作業したのかね？ QTnetは迷惑かけてる全ユーザーに損害賠償しろ！って楽天に言われてるんだろなー、いくらかかるんだろな >>1
つまり掃除のおばちゃんがコンセント引っ掛けたってこと？ >>55
外部のデータセンターの設備交換なんて関係ないだろ 電気の流れを考慮せずに作業するからだろ
馬鹿ばかりだぜー わざわざUPSを外して作業したのか
さぞ生真面目な作業員だったんだろねー（棒
工賃安いからって最低限の教育受けさせてない馬鹿現場に寄越すなよ てきとーな作業ならともかく、予備電源外して作業なんてあり得ない ド素人なんだけど７秒電源がストップすると復旧もままならないくらいひどいことになるの？
「あれ、つながんねーなー」程度の話じゃなくて？ UPSはあるよ
４年経ったからバッテリー買い替えたら配線繋がってない事に気付いたとか >>75
楽天カードと同じ位置に並ぼうとしている会社なんてあるのかな？ｗ UPSなんかつかってるの？
平成の化石機具やないか >>69
それならまだ理解できるんだけど、保守担当者(プロ)が抜いたっぽいね、この書き方見ると 逆にスゲー
無停電電源外すとかw発想が無いからな
むしろそいつを楽天で雇ったらどうだ？ >>1
知識の乏しい15次下請けあたりが作業してんだろうなぁ。南無阿弥陀仏。 っっって、QTかよ！
電力のプロじゃねーか！
楽天マジで被害者じゃん！
何のためのデータセンターなのか こんなんだからAmazonやMSのクラウドがシェアとるんだよ お前ら純真無垢かよｗ世間向けの発表鵜呑みにしやがって
とある筋からの確からしい情報によると、これは掃除のおばちゃんがコードにつまづいたことが原因らしい
ガチで！ >>69
DCにその辺に持ち込むのは作業PCで普通はラックの下に通常と非常電源あるだろ…
UPSとかありえん。
普通のPCでもサーバで使ってんのか？ バックアップ電源が切られたのち停電とか、ミッションインポッシブルみたいな奴らが侵入したんじゃないのか 技術力が世界で上から70位程度の国がやるとこうなるｗｗｗ ｴｰﾗｲﾔｯﾁｬ
ｴｰﾗｲﾔｯﾁｬ
ﾖｲﾖｲﾖｲﾖｲ
♪ ／| ／| ／|
♪ ∠_ノ ∠_ノ ∠_ノ
〈(･∀･)ﾉ･∀･)ﾉ･∀･)ﾉ
`└|==|┘|==|┘|==|┘
〈 〈 〈 〈 〈 〈 >>97
楽天ってカードに限らず三流企業を買収して塗り替えるのが商売ですし 宮殿系ということは電源はN社とか？
UPS入れずに電源切替って、度胸あるな。
コンセント ふんって抜いて、ふんって挿したのか？ 家電かよ。 普通にサーバはリダンタント電源で各電源送電網から別の系統に繋がってるもんじゃないの？
まさか二系統一緒にUPS外してたとか？ ＞QTネットの公開資料
障害原因
受電用屋内設備分電盤の過電流継電器の整定不具合により、常用受電が自動遮断しました。
遮断時は、常用受電から予備受電に無停電で切り替わる機能を有しておりますが、今回の電源設備更新作業にあたってこの機能を外して行う工程（10分間を予定）中に事故が発生したため、電源停止（7秒間）となりました。
その間当社からお客さまサーバ類への電源供給が失われ、お客さまサービスに影響を及ぼしました。 何が原因かすらもわからないってもうIT後進国やん… CVCFをバイパス側にしてたんだろ？たまにやるよな >>97 元から電話のぼったくり営業位のイメージしかないぞw >>95
世界1位か2位のＩＴ先進大国と、いまだに1800年代の機械アセンブリーで生計
たててる技術力50位未満の国と比較するなよｗ 九電に問題あるのは間違いないけど、楽天のシステムには障害リカバリー機能がないんだろ >>60
設備屋顎で使ってるだけで、自分たちの手を動かすわけじゃないし
管理なんてそれこそやったことないし >>96
掃除のおばちゃん！
いっつもどこからか出てくるな！！ >>69
ラグナロクオンラインのサーバーがそれで飛んだことあったな(´・ω・`) こう言うのって岩槻にも有るんじゃないの？
地盤が固いからあそことここの二箇所に置くとか良く聞くけど
ここだけなの？ 部品交換するとき、電流が来てたらちょっと怖いやろｗ
このくらいええやんｗ二〜三日生活する現金くらいあるやろ？ >>115
楽天ってアルバイトしながら英会話学校じゃなかった？
新聞小学生の英語版 あほすぎるｗｗｗ
20年ぐらい前デスクトップの時はUPS使ったけど
ノートになってゴミになったな バカじゃん
素人レベルだわ
で、作業員は何歳だったの？
ゆとり？
バブル？ かってのファーストサーバみたいにいじくり回してデータ消えていたりして(´･ω･`) >>88
書類上、保守担当が居た事になってるだけで、
実作業は安い素人外注で、立会もなしの作業と思われ これから大規模停電が 定例化するらしてから
準備しよう >>122
東武のとある半蔵門線直通車両が長いこと休んでたのは
マジで掃除のおばちゃんがモップをマスコンにぶつけたことで
車両を暴走させ床下電装機器を損傷させたから ゆとり世代が主力だからな
ヒューマンエラーだらけが日常の社会よ リダンダント電源に複数の給電系統で
片系づつてのは基本だと思うけど、
なんでわざわざ外したのかね？ >>122
信じられないことに、奴ら南極から熱帯雨林までどこからともなく湧いてくるんだぜ… >>11
www
どこのとはいわないが工場で働いていた時の事おもいだしわらいしちゃったよ
足元良しッ電源良しッと指差し呼称しながら電源は入っていなかった 馬鹿な時給1000円(でも発注先時間五千円)の白痴のSI er使うからだよw >>76
君のスマホを動作中に電池いきなりぶっこ抜いてみたまえ、
7秒数えて電池を挿し直して平然とブラウザその他のアプリが継続動作するかね？ 楽天カード12月の明細確認できない
このまま明細飛んでくれると助かるw ケチって鯖一箇所だけしてるのが悪い
バックアップ体制は無し
携帯もそうなるんだろうなあ あー絶対落ちてはいけないものが落ちたら
責任者の首で済まないわ
南無阿弥陀仏 うちのビル、非常電源設備の点検交換作業でミスって
ビル丸ごとドカンと落としちまったことあるわ
こういうのって本来止めてやるべきなんだけど
今はサーバーを止められない時代になってるから
無茶な手順で綱渡り作業しちゃうんだよなあ >>147
ゆとりってほんとバブル世代の再来だよな〜
ミスが低レベルで、しかも多い >>151
下手すると、チェックリスト、作業手順書も無いかも？ データセンターのバイトのおばちゃんが抜いちゃったのか コイツらネット世代でなくバブル末期のヤンキーだし。 大変危険な高所作業なので、命綱外して作業しました！！ 楽天が悪くなかろうがQTネットが悪かろうが
こっちには知ったこっちゃないわ
カード楽天しか持ってないのに連休大変やったわ
ふざけんな ぐあー
これはご愁傷さま。。
まぁうちも先日の尼障害で復旧出来なかったからなぁ。 福島原発も2台ある予備電源を、同じ地下室に置いてて
どっちもだめになったんだっけ
2台あるなら、1台は地下、1台は高台にくらい分けとけ >>110
冗長機能がなくなるヤバイ工程中にやらかしたってことか
その7秒は修羅場感がすごかったろうな 馬鹿天ごときが情報インフラ扱えるわきゃねー
ジャップの糞ＩＴ技術は何やってもゴミ以下 >>154
今どきのスマホで電池入れたり出したりできる機種がどれだけあるのだろう 何のギャグですか？
ドコモなら絶対に起こらなそうなミスだなぁ データセンターならupsじゃなくて自家発電なんじゃないの？ >>165
ゆとり云々の前に、作業管理者が仕事サボリすぎでしょ
ヒューマンエラーはやった人が悪いのではなく、
ヒューマンエラーがある前提で、エラー起こしても問題なくリカバリーできる
体制と手順を作る／作らせるのが管理者の仕事 楽天カードはここから緊急キャッシュバックキャンペーン20％オフするしかないな
やっぱり最後は金目 そんなにバックアップが必要なら
まず自分が楽天以外のバックアップ手段を用意しておけよ・・・
お前らが楽天カード以外を利用していれば、こんなことは起こらないミスだったのに >>198
マニュアル通り作業できる奴はアホなのか？ ようするに
電源落ちたときはどうなる？
すぐに予備に切り替わります
ならいいか
で、やっちゃったんだろ 楽天ペイ 「なるほど、これは停電になったら接続すればいいんだな！」 マルチリージョン？とかじゃないのか
金融関係なのにシステム脆すぎじゃないか？
7秒電源落ちたら3日システム落ちっぱなしってのも... >>127
ばっかじゃないの？
作業ミスでやられたら二重化してようがあかんモノはあかんw >>201
それは確認出来るから落とされるだろう
来月以降だよ
リボとか使ってる貧民は楽しみなんじゃねw 楽天カード
作ったらすぐこれだわ
もう辞めたい
作り直したいわ 数秒停電したくらいで、今も復旧できない影響が残ってるのが一番ダメでしょ。
その原因はいまだに誰もわかってないんだろうけど データセンターの作業員って派遣の場合が多いから仕方ないな でもなんか緊迫の状況があったんだろうから
映画化決定！ ヒューマンエラーか。プログラムミス以外の。
あほだが、よくある。気にしろ >>192
エキスパートが長時間かけて立派なマニュアルを作ってド素人がそれを見ながら作業して失敗するまでが様式美 機械軍団の唯一の弱点が奴隷にされた掃除のオバちゃんがマザーコンピュータのコンセント外して掃除する空白の20分という妄想をした 言ってもGoogleもAmazonもこの手の障害起こしてるから人間が作業してる限りなくならんだろうな >>210
30万分飛んでくれてたらキャンペーンしなくていいや >>1
ざっくり電気工事に見えても業務内容は細分化されてるからねえ。
情報通信設備や電気音響設備なんかは、専門のスキルを持った業者さんに任せないととんでもない事をやらかすよ。 >>117
そういうことだよね
決済システムなのに二重化してなかったかもしれないな
たとえ、二重化していても隣に設置していたりしたら同時に落ちたりするかもしれない FISCの監査やってる俺からすると信じられない低レベル >>191
うちのビルだと非常系の発電機の立ち上がりまでのつなぎ用にUPSの化け物ついてるわ
電池のメンテ費が凄いから無くしたいと言う話があったがさてw 掃除のおばちゃん 「これにつなぐと停電でも掃除出来て便利やわぁ」 この作業でUPS外す…一体何のために着けてた装置だと思ってたんだろうね… 仮想化してどっか別のDCで動かすとか出来んかったのか キャッシュレス社会の盲点とは地震や風水災害のみならず、こうした電源供給側の不可抗力orミスもあるってこと。電源が落ちると、サーバーには痛い。復旧が大変だから。
日本人に未だに根付く現金決済が良いってことになるのかな？ つーかこの場合別のデータセンターに自動的に切り替わらないシステムなのが問題じゃね？
アマゾンもだけど、クラウドってどこ行ったよw 通信事業者のデータセンターでこれはお粗末すぎだろ
とは言え楽天はバックアップサイト構えてないの？ ペイペイ
セブンペイ
楽天ペイ
馬鹿ばっかwwwwwwwwwww 韓国にもいろんなサーバーあるらしいが
ＧＳＯＭＩＡ破棄するぞ よりサーバー停止するぞ のほうがよっぽど効果的なんじゃなかろうか 要求仕様がいまだに「GUIが日本語であること」っていうガラパゴスな世界だからな 別のデータセンターで冗長化されてないの？
金扱ってるのにアカンやろ。 来るとこまで来たクオリティ
リアル傾国ジャパンだよ 令和にもなって
掃除のおばちゃんがコンセント抜いたレベルの
エラーを見ることになるとは >>249
電源ダウンは想定外で切り替えプログラム動きませんでした・・・とか？ まぁわかる。
安易に上書き保存してしまうことはよくある 原因はどうであれ、ユーザーにメールの一つも入れなかったのは確実に楽天の落ち度だろ >>145
東北新幹線のドアコック閉め忘れ→緊急停止 ってのもあったな いくら世の中が進歩をしてもこの手のバカのミスは無くならないからな マニュアル自体が電力会社からの供給が正常である前提の作業だからどうにもならないケースだな
安いデータセンタを選んだツケ 掃除のおばちゃんがコンセント引っこ抜いたのと変わんねーじゃん これはもう
楽天会員の全員に
1000ポイント配るしかないやろ こんなシステムが
1800万の顧客の
お金と個人情報を抱えてるんだぜ？
地獄だろ 新人一人に丸投げするブラック企業だったの？
それとも全員無能の企業なの？ 楽天カード使えるけど明細確認できないって
未確定データの復旧がやばいのかな 23日のは九州が人災したと分かった
25日の方は何をやらかした？ 掃除のおばちゃんが電源コード引っ掛けたネタをマジでやんな データセンターの一箇所死んだだけで使えなくなることが証明されたワケだ
三木谷ペイ 作業内容の確認良いか？
元請け担当者の転勤が決まりましたw 作業員がズブの素人だったってだけだろ
止まっちゃダメなもん作業すんのにＵＰＳ外して作業とかまずあり得ないことだし >>4
想定し得ないミスでは無くて防ぐことが出来るミス
ついでに言えば確認するべき事をし忘れたと言う事で、会社としてかなりの賠償をする羽目になるな
それとやっちまった本人が首括らない様に周りは気をつけてやんなきゃな UPS抜いて停電きたとかさ・・・UPSってなんなの・・・
データセンター自体に災害用電気ないのかよ うっかりさんだなあ
調整役の現場代理人が機能してない
調整役のボーナス減額な 九州電力本体も子会社もヘボさがよく伝わってくるわ。 DCも間抜けだけど停電対策してない楽天なんかのシステム担当も相当な間抜けだな
自損自弁が落としどころだろ 小さなシステムラック止めるのにも
きちんと作業マニュアルとチェックシート
リカバリ手順作るぞ
一行目には必ず
作業手順１〜３２
チェックシート１〜３
リカバリ手順１−４４
漏れなく印刷されているか確認
いっつも笑われるわ 金融絡みの認証を外部クラウドにやらせてるのが問題じゃないのか
普通の企業は自社サーバーだろう そりゃ電源装置の更新作業なんだから，
3重化でもしてなきゃ予備系がなくなるのは当然だろうね
不運なのは，たった10分の作業中に停電を引き当ててしまったって事 >>297
手順書はプロが作ってるだろうが
実際にそれを運用するのはひひひひ孫請けなので… >>1
そうだよな
初め聞いたときなんでUPS ないのか不思議やった
ヒューマンエラーか 社内でwhy？what happen？とか飛び交ってたのかなw
日本で これは大問題だ
今月のカード利用金額は楽天が補償してくれよ 家のネットが昨日から繋がらないのもこのせいかな〜
いや関係ないな ただの電源喪失事故を
重大事故に発展させるのは
民主痘と楽天ぐらい 業者を選定発注する担当も知識のない奴が多いからなあ。見積額だけでろくな審査してないんよね…
こういうのは何処の業態でも起きうる話しでね。大工の無資格電気工事とか、安全教育さえ受けてない奴が高所作業やったりさ。勘弁して欲しいわ。 >>39
このデータセンターが死んだのに対する被害者かもしれないが、
この程度で死ぬようなデータセンター冗長取ってなかったのは楽天の責任 >>304
やらせてもいいけど
複数確保してないのは
銀行なら業務停止レベル 詫びポイントあったとしても、期間限定今月末までとかだろうなぁ 徹夜明けの作業は怖いんだよ。
昔、某巨大放送局のマスターで、危うく再生中のVTRの1次ブレーカーを落としそうになった。
日本中のテレビを真っ黒にするところだった。 チャイナ、チョンに弄ばれる
落ちた帝国ジャップランド
IT終了 >>306
作業手順書どうりに作業しているかチェックするのが現場代理人
これ、現場代理人も処分対象になるだろ 孫請とかの日雇いレベルの作業員とかなんかな
作業に免許とか必要ならこうはならなかったかも これ運用部門の責任なのか、更新の手順書作った開発部門の責任なのか
下請け会社で泥仕合始まるかな ガキ使流れで例えたら
この程度のクレジット会社レベルw
明後日の朝までに直ってなかったら、言われても仕方ない。 別の場所にでもシステム二重に有れば問題無かったのに、ないという事だね やったのファーストサーバーの出身者じゃないだろうな データセンターが悪いのが判明したが
バックアップのセンター等のリスク管理をろくにしてないんだな
こんなのがインフラやるって無理だろ LINE payも凄い接続が遅いときしょっちゅうある
なんなんあれ
PayPayはいつでも速攻繋がるけど しかし恐ろしいな。7秒とはいえ影響でかいんだなぁ。 障害時に決済した未確定データチャラになる可能性ある？ この前西友でpaypay始めて使ったが
こっちがコード読み取るパターンって下手したら現金で払うより遅くね？ >>1
バッテリーが古いとピーピーうるさいもんな。
バッテリー抜いてアラーム止めるのが当たり前だよな。
コストダウンだもんな。
しゃーねーよ。 >>51
昔の会社で後輩が同じフロアに居たらしくて、やった本人はガチで顔色が青くなってたとか言ってたな クラウドがシステムダウンした場合のベンダーの損失賠償は限定だろう
完璧なシステムなんてないからある程度の障害は想定でシステム構築しろってことだし 楽天のSVにはUPS刺さっていなかったの？
まさか
ピーピーうるさいから止めてた
とかじゃないだろうな >>298
UPSってのは>>1が勝手に書いてるだけだよ
商用A系統の電源が死んだときに商用B系統に切り替わるようにする設定を
10分間だけoffにしてた なぜか楽天叩いている人いるけど悪いのは九州電力子会社じゃないか 楽天の12月分の請求飛んだなw
まだ復旧出来てない。
バックアップから復元してリアルの部分は目視で作業てかw >>341
ステマやめろ
AWSの安い方のデータセンターに
道連れになってただろ
五十歩百歩だ UPSヨシッ
って主電源を落としたときの担当者の焦りを想像すると笑える。
何が起きたか考えて主電源入れ直すのに７秒かかるわなｗ 毎晩決まった時間にサーバダウンが起きるようになった。スタッフ総出で原因を探ったが分からなかった。
ある晩、意を決してサーバ室に身を潜め、その時間に何が起きるのか観察することにした。
掃除のおじさんが掃除機を使うために電源を引っこ抜いていた。 >>351
やっぱそうだよな
なんだよあのシステム
ボードにあるコード読み取って数字入れて店員に確認してもらってってアホな手順 いやあ、楽天だけじゃなく
この国のシステム開発・技術に暗雲垂れ込めてないか！？ 楽天ペイは上限決まってるからガチでゴミ
ツクモで還元キャンペーンやってたから支払おうとしたら
上限かってに決められててエラーで支払えなかった >>357
ステマ出なくて経験
LINE Payは何故かコード支払い選んでも画面出てこないで
タイムアウトになるときしょっちゅうある >>355
国内信販時代から使ってるであろうシステムを
何にも増強してない時点で楽天もおかしい 子供からファブリーズ靴下貰った
どういう意味なんやろうか >>2
電力会社の子会社が電源について素人なんて事実、笑えないんだが。(´・ω・｀) てかペイペイでってレジで言うの恥ずかしいんだが
スマホ決済で、コード決済でつって通じるかね 今まで最大の補填とか詫び入れた企業ってどこなんだろう？
オカモトグループが個人情報流出させて500円のQUOカード送ってきたのが最高額だわw >>44
まぁそうだろうな
で、指名停止は確実だな でもさこうおうPay系ってポイントそのままお金として使えない場合多いんだよな
かなり制限あってさ 復旧の進捗状況を全く知ること出来ないって、本当にどうなってるの？クレジットカードやで？ >>374
どこですか？って聞かれる
レジによってはモード切り替えが必要 >>373
電力会社だったら、自分が作業していない側が停電を考慮していないとか想像もしないだろｗ まさにこんな時のためにある装置なのにそれをわざわざ外して作業とか何考えてんの？ 契約内容にもよるだろうけど
あまりにも初歩的な過失だから
QTネットは楽天からかなりの損害賠償請求されるかもね >>381
やっぱ駄目か
でもそれ聴けて良かった
迷わず種類ちゃんと言うわ 全計算機一斉ｼｬｯﾄﾀﾞｳﾝ
この程度でﾀﾞﾒになるとかｼｽﾃﾑがもろい >>354
あー、リダンダント電源だったのね。それはそれは。 結局電子マネーなんて
SuicaとiD以外いらんのだよ
あの二つは決済速度が鬼 SMBCの勘定系のデータセンターに入った事があるけど
大阪、ロサンゼルス、フランクフルトの三つのデータセンターを
光ファイバーの束で結んでいて、どれか二つが核攻撃で壊滅しても
残り一つでカードが使えると言っていた 7秒の瞬間停止で全システムダウンってのは明らかに設計の問題だな
「普通に止まるから実装側で多重化してね！」って言ってるAWSですらスタンドアローンで組むのが日本のIT業界 最近は、「不意に止まることも無いし 壊れることも無い」
というお花畑でソフト設計するので、こういうありえないハード障害があると
リカバリ設計してないのでものすごく時間がかかるんだよな。
無論、停止する寸前までの未更新データはどういう形であれ
保管は出来ているので、リカバリは出来るんだけど。 ＞7秒間ほど電源が停止
7秒止まるだけでそんな長時間だめにるの？ >>367
サーバが韓国にあるので日本と韓国間の海底光ケーブルがアベガーでいっぱいになってると遅くなる 大企業のサーバーUPSでこれだから太陽発電の蓄電池なんてまだまだ先の話だね データセンターだって落ちることくらいある
重要なシステムならシステムを3つくらいに分散して置いておき、一つが落ちても残りでカバー出来るようにするのが肝要
銀行なんかはそうやってるはず
銀行や証券会社も持ってる楽天が、クレジットカードサービスを一系統だけで動かしてたとか馬鹿過ぎる >>393
その光の束でどうこうするシステムにちょっと携わったことがある。NTTコムだけど
みんな日本語ペラペラの外人ばっかで肩身狭かった >>383
A系統が生きている状態でB系統の機器交換をしていたらA系統が死んだんだよ >>392
モバイルSuicaは感動的だったわ。財布を出さずアプリ起動もせず決済
例えるならHDDからSSDのような激速 サーバーラック内の特定サーバーを誤って電源断しても相当始末書なのに
データセンター建屋の電源断だもんな 作業業者は損害賠償請求されるだろうな VPNでﾊﾞｯｸｱｯﾌﾟｻｰﾊﾞｰへ
速やかに切り替えられない時点で
ぜんぜんﾍﾟｹ >>397
ハードディスクがお亡くなりになったんだろうな。
電源オンのときにコンセント抜くとそうなる。 >>407
逆じゃね？
自殺しかねないもん
から優しくするんじゃ？ >>397
心臓や血流が7秒止まっても何も影響ない人体に感謝しておけよ ペイの表側だけ立派なもんこさえたけど
基幹の部分が
国内信販のオンボロシステムそのまんまで
何の冗長も取ってなかったんだろうな >>397
その電源につながる全サーバーが一気に落ちるから、昔ならハードディスク障害で
ご臨終もあり得たかな
普通は多重化するときに電源も分けるんだけど、、、ま、楽天だしw チェルノブイリみたいな感じかな？
副長「今日は俺の考えたアクロバティック手順でやれ！それで成果をあげるんだ！｣
技師長「同志、それは規則に反していますUPSを外すなど…｣
副長「指示通りにやるんだクビにするぞ｣
技師長「ですが危険です｣
副長「この腰抜けめお前の代わりはいくらでもいる。従わなければ降格だ｣
技師長「わかりました…｣
そして…
副長技師長「うわああああああ｣ 更新作業の手順書に不備があったのか、手順書無視したのか、手順書自体なかったのか、どれだろ >>414
どこぞのみずこ、もといみずほ銀行のカード版だよね 復旧しても、楽天カードの12月の請求金額が本当に合ってるのか
怪しくなるな >>414
>表側だけ立派なもんこさえたけど
これ楽天のキャリア回線でも危惧されてんだよな >>414
言っちゃ悪いが楽天のサービスってどれも門構えは立派にハリボテしても中身や裏に回るとゲフンゲフン >>110
過電流継電器は振動に弱いから、分電盤を開けただけで動作することがあるからなぁ
運が悪かったね >>411
今の業務系システムでHDDは使わないよ、、、
RAID組むの面倒だし、RAID組んでも壊れるし、、、
>>413
7秒止まると脳は結構やばいよ
阻血領域次第では障害出る どんなraid組んでようが
元電源飛んだら全部飛んじゃうわな >>397
いきなり遮断したから物理的に壊れたものがるんじゃない？ >>397
例え0.1秒でも駄目なもんは駄目ですねん。 UPSはくそ重いし、100%必ず作動するものでもない
ちゃんと動作しないこともママある ある意味鬼門の商品 >>266
それで会社の業務が止まることもある
俺はそれで依頼先会社のサーバーの電源コンセントを不注意に抜いて、結果自主退職させられた。
清掃会社のパートだったが。
掃除機がコンセントに当たって外れ、差し直しただけのことだけど。 楽天カードは、
福岡が地盤だった「国内信販」を買収したものだから、
当然に運用場所が九州にある
なお、国内信販は、「シャブ&ASUKA」がCMをやっていた
まあ今回は完全な被害者
それと、QTネットって九電の子会社は、
不祥事起こして九電会長をクビになったクソジジイが、
自分の天下り先に突然巨額投資に九電からカネを入れた
曰く付きの子会社
それまでは、全国どこの電力会社が御約束程度にやってる光ファイバー通信会社だった
ケーブルテレビの光通信会社よりも下だった >>404
そもそも記事書いたやつがバカだったのか
元ネタみてきたら↓だった
障害原因
受電用屋内設備分電盤の過電流継電器の整定不具合により、常用受電が自動遮断しました。
遮断時は、常用受電から予備受電に無停電で切り替わる機能を有しておりますが、今回の電源設備更新作業にあたってこの機能を外して行う工程（10分間を予定）中に事故が発生したため、電源停止（7秒間）となりました。
その間当社からお客さまサーバ類への電源供給が失われ、お客さまサービスに影響を及ぼしました。 マジで、クレカとスマホ決済だけで外出してる輩もいるだろ？
どっちも楽天だったらautoだな（遠い目） >>395
一般的に7秒は瞬停ではないような気がするけど 底辺ワープアが作業やってるんだろ
英語もできない田舎のネトウヨが >>427
未だにガントチャートで締め切り管理するだけの人が食える業界だからねw
コンビニのレジ打ちやってる外人のほうがコストパフォーマンス高いと思うよ ＞ 電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。
すまないが、どういうこと？ 障害の責任は九電子会社なんだろうけど
楽天のシステムが貧弱だったってことは確かだな >>439
最末期はフィット感トントンの上原多香子だったよ ペイって還元を会社が負担するんやろ？
ならこいつは会社の損失を減らした勇者やん >>418
手順書とかあっても末端が読まないしな… >>397
RAIDだとキャッシュメモリのデータを正常にディスクに書き込めないとオシマイ
ハードは起動してもデータが全滅ってのも十分有りうる わざわざUPSからPowercode引き抜いたのか？意味不明だな。 12月分の請求をチャラにするなら客離れどころか
会員数が増えるかも・・・？ 電源切れる前提ですぐ復旧するうにシステム作っておけよ。 チェルノブイリ原発で安全装置外して実験やったのと同じじゃん。 >>397
Aが動く為には、Bが動いてなくちゃいけないけど、それにはCが必要で、Cは先にAが動いている必要がある
みたいな感じで関係がグチャグチャになってたりするから >>435
データセンターはプロパーがいないと中入れないから、派遣9割本社1割くらいだと思うよw ＞電源設備更新作業にあたって
＞この機能を外して行う工程
＞（10分間を予定）中に事故が発生
まじで？マジなの？ ドコモとか最大手で金のあるところはシステムを二重化、三重化してそういうのを防いでいる
しかし、そうで無いところは単純なバックアップシステムだったり、二重化すらしてない所もある
今回の件は企業の体力差みたいなものが露見した印象 責任逃れのために派遣や契約を
重宝する贋大企業もどき会社
その心はブラック！ >>453
大抵の場合メンテ不足で嘘書いてあるのが手順書w 金庫にはカネを払う。
バックアップにはカネを払わない。
そういう会社が潰れるのは良いことだと思う。
潰れろ。 >>453
書いた人間と読まなくても分かる人しか読まない そういえば土曜午前中 家電屋で使えなかったわ
楽天も信用できねーなオイ >想定外の盲点があると明らかになった
いや、UPS外してる時に停電したらシステム落ちましたなんて想定外でもなんでもないだろ 作業は請負業者がやってたとしても作業手順書は
確認してるだろうし終わったな 電源コードに足引っ掛けて抜けちゃいましたと大して変わらんな クリティカルヒット！すべてのpayがダメージ！！！ これで引き落としが出来なくてホルダーのクレヒスに傷がついたら
面白いことになるんだがな 楽天の障害は障害全体の一部だったのか
他はどんな企業のどんなシステムなんだろ？ >>483
CICもそこまで鬼ではないと信じたい
職業：吟遊詩人でも作れるカードなんでしょ？ｗ 非常時の切り替えでも
瞬断さえも起こさない
が基本なのにね >>442
金融の勘定系システムは常にミリ秒単位で決済、帳簿を書き換えして更新している
７秒も止まったらデータ古すぎてぐちゃぐちゃになる >>445
予備電源に電力を供給する機能を殺して作業を始めて、
この始末 >>485
だって現場で仕事するのはバイト同然の派遣だしw 買い物行って買えなかったから、自宅まで現金取りに戻った補填しろ。
もう、2度と使わない。信用出来ない、結局は現金か他のカード持ってないと、不安になる。 >>473
paypayも先月障害起こしてニュースになってたぞ >>485
最近じゃないかなり昔から
何かあったらすぐTwitterなりで晒される最近の方がマシになってる >>445
切り替えの際はどーしてもごく短時間は瞬断するからね。そのラグを埋めるのがUPS。 >>97
もともとイメージ最悪だから
下がりようがない >>448
電源絶たれても持ちこたえるシステムっつ何？ 今後電源喪失でデーターセンター無かった北海道より被害と復旧の混乱増大ってことか？財布買おうかな何かの時の現金だな。 >>1
作業やる前に打ち合わせとかレビューとかリハーサルとかせんの？
九電は？w どうしてもクリティカルな作業が必要なら、顧客に通告して10分とかシステム停止してやれよ。
24時間稼働を謳ってるからやり難いんだろうけど、こうなったら元も子もない。 ここらへんでこういうこと起こってくれたほうが良いんだよ
地震とかと同じ >>501
そういうことがないように電源をボンディングするのが普通のシステム >>473
ペイペイは中国のアリババのシステムそのまんまだろ
アリババの関連会社のインドの会社が作ったから それでもQTネットから即乗り換えとかできないからねぇ
もっと信用あるデータセンターへのシステム移動なんて、これまた途方もないプロジェクト
楽天は脆弱というのが当分続くねぇ >>504
多くの場合リハーサル環境と本番環境は全然別物なのでやっても意味が無いw >>473
ソフトバンクも携帯でやらかしてたやん、
多分、携帯会社で三重化してるのはドコモ
二重化してるのがＡＵぐらい
楽天モバイルがやろうとしてるのはＰＳ３並の荒行 >>501
普通は別の場所にもセンター維持しておくもの ペイ界では割と大きなほうだったかもしれんがハリボテだったんだな 無停電電源装置を含めた受変電設備の更新中で、受電盤の更新が終わって、無停電電源装置の更新をしてたら受電盤の過電流継電器が働いて、停電が発生してしまったと。
過電流継電器が働いた理由は、設定値のミスでした。 単純な人為的ミスなら故意の可能性も否定出来ないから賠償問題になる 中華の手先が紛れたんじゃねぇのってレベルのあんぽんたん >>445
電源供給の設備が2系統有って
障害時に自動で切り替わるようになってるけど
停電を検知してからスイッチを切り替えるだけだと数秒間の停電は避けられない。
その数秒間の電源供給をする装置を，設備更新作業をするために
止めていた 元々の作業が、作業中に停電きたらＡＵＴＯて判ってる作業してたんでしょ？これ >>483
金融関係としては
今回の事故で、信用情報機関から
災害の時みたいな通達が来たらわろてまう 機械は間違わない
間違えるのは常に機械を利用する人間の方なんだよな >>471
あるある w 知識のある人ほど慎重に読んでくれるんだよな。 >>473
PayPayはAWSの安い方で契約して
冗長もとってなくてトラブったばかり 最近の末端SEは人不足もあって
ほんとに借りてきた猫みたいなヤバい奴が多い
末端だって本来は最低でも基本情報ぐらい受かる知性が必要だが
それ未満の奴をかき集めて人売りして利益上げてるのが末端のSE派遣会社 >>522
リボとかキャッシングの利用で
小遣いポイント稼げるしな
あっ計画性ないやつはやめとけよ >>486
記事 電源設備交換時に予備に切り替える装置をわざわざ外してたせいで事故
QTのリリース その切り替える装置を外して作業中に電源装置に不具合のせいで事故
じゃね 楽天カードのアプリでカード明細未だに見れないんだけど...
全部無かったことにしてくれるなら全然OK >>517
なるほど。
過電流ブレーカーや漏電ブレーカーが意図せず動作した感じか。
まぁUPSの更新（ファームかバッテリーか？）を同じタイミングでやるなよって話ではあるな。 >遮断時は、常用受電から予備受電に無停電で切り替わる機能を有しておりますが、
>今回の電源設備更新作業にあたってこの機能を外して行う工程（10分間を予定）中に事故が発生したため
もう計画段階で運頼みじゃん。ヤバイ作業を事前に判ってて客にも知らせず、10分間何事もありませんようにと祈りながらやるなよ・・・。
通告して夜間に停止してやれよ。 >>22
シャットダウンじゃなくて稼働中の電源断
うちみたいな小さい会社でも電気点検の時は電源周り再確認するわ 素人のｐｃマニアじゃあるまいし楽天クラスの大企業で
これはあり得んというかお粗末すぎ >>440
10分だから平気で、吊り荷の下で作業してたら吊り荷が落ちてきたってことだよな。
作業手順かデータセンターの設計に問題あるってことじゃん。 来年QTNetの仕事入りそうだったけど、これでなくなるかな・・・。 >>511
いやいや、楽天カードが如何に堅牢なシステムを構築していても、
データサーバ置いてる通信会社がそのサーバの電源を切ったらどうしようもない
間違いなく、金融庁からやらかしたQTネットに御叱りが行く
業務改善命令が出るかも知れん
(信販会社とかの事業継続に支障がない様に、決済システムを委託されてる通信会社も
決済システムの重要な一部という認識で金融庁の管轄になってる扱いがある) 素人かよ……こんなことあり得るのか
いやあり得たんだけどさ エヴァンゲリオンは電源喪失してもちょっと動くじゃん データセンターなんて
派遣や契約の集まり
正社員は役員と営業が本社ぐらい 素人と叩いている連中も同じこと引き起こすレベルだと思うぞ
これを対策しろと言われない限りは想定から漏れるケース こんな会社に業務委託してるんじゃ楽天の金融システムなんぞ恐ろしくて使えないな
三木谷の終焉 まあ電力会社系だし賠償金なんか九州人の電気代からいくらでも出せるから平気平気。 >>557
データ自体は消失しないと思うけど
長期間、常時稼働のサーバーの電源抜いたら
無事に再起動できる事の方が少ないよ ほらな？楽ペイはたぶんやらかすからおれはまだ登録しないっていったやろ？
このあとのお詫び楽ペイから登録だぜ！ >>536
「謝罪しなくても、いいぃ〜〜んんデス！！」 >>556
凄くわかり易い例え。やらかした人達に言ってあげたい。
まあまだ詳細分からないけど。 原因はスグに分かってるよ。
でも電源落ちの言い訳に一日を要したんだろうな。 >>522 ド貧層の俺でもゴールドカードもてるしなｗ >>539
人手不足でも意地でも人件費を上げない心意気は面白いな >>563
そら魚の活け造りでも〆てしばらくは生きとるしな。違うか w >>566
複数のデータセンターを用意する
それが楽天の取るべき対策だった
普通は金融決済するならするもんだ QTnetのデータセンター建屋の電源周りに脆弱性があったわけだ
通常の保守メンテで建屋電源が落ちるなどありえない、というレベルのクオリティがなかったということ
信用ガタ落ちやね 20%お詫びキャンペーンくらいやってくるだろ
やらないとユーザー逃げるぞ？
楽天社員さん？ >>570
サーバ100台クラスの部屋で法定点検とかで全台落としてあげ直すと普通２〜３台はHDD飛ぶからね >>568
業務委託なんて何処もブラックだぜ
安くあげたいんだから安い社員が働いてる ゆとりさとりが取り扱うようになるんだし
無停電電源装置無停電システムが必要だなw どっちかというと楽天ペイのデータがどこにあるのかバレたのがキツくないか UPSは大事だよ〜
自分も2度停電でお世話になった >>563
そりゃエヴァはUPS積んでるからな
今回のはエヴァにUPS積んでる前提で作戦立てたのに
実は今日だけUPS積み忘れてましたサーセン、みたいなミス なんかビットコイン関連会社が破産とか
なんたらPayだったりの大規模システム障害
日本のＩＴやば >>564
日本企業はそうだろうけど、AWSとかもそうなの? どう考えても4重にはなってるだろうシステムをどうやったら止められるの？
天才すぎる >>559
楽天の責任は免れないぞ
1800万も顧客いるのに
基幹のサーバー冗長取ってないとか
ちょっと信じられない 楽天カードって、確かアクワイアラだったよな？
そりゃ影響でかいよなぁ
そこらのカードとは訳が違う。
カード界では三井住友や三菱UFJレベル。 >>568
そのぐらいケチ臭く金に汚くやらないとあんなに羽振りの良い生活は出来んでしょ。 QTNetのデータセンター行ったことがある。
24時間有人監視って触れ込みだったが、
嘱託だかパートの警備委員かというような爺さんがぽつんと椅子に座ってて萎えた。 >>592
復旧したところでこんな会社にサーバー預ける馬鹿はもう居ねえよw >>584
ほんまあれ止めてほしいよな
サーバーって実は電源断にくっそ弱い でも顧客には面と向かって言えない真実ｗ >>563
アンビリカルケーブルから非常電源に切り替える装置を外していたから
7秒間棒立ち＆LCLから呼吸不能状態になっただけだ UPSを外して作業する？何で？
だとしたら、他のサーバーにも影響が出ているはずだが。
それとも楽天専用のサーバーが接続しているUPS？
一般市民が分からないような単語を出して、責任回避している感じがする。 UPSなんて社員数10人以下の町工場でもちゃんとしてるぞw ups欲しいなーと思うけど
モバイルバッテリーの発火事故とか聞くと怖くて無理w >>593
そりゃ上が馬鹿だから
丸投げして何かあったら
大騒ぎの繰り返し 無責任社会 >>539
末端ってそんなに酷いの？
それだと人足扱いすら出来なくない？ 楽天証券も何度かやらかしてるよね
楽天生命・楽天損保もやらかして金融庁に怒られるんだろうな >>581
とは言え260社にも影響があったんだからデータセンター側の問題じゃねーの？ 楽天はこう言うリスク前提の高いポイント還元率
つまり安かろう悪かろうなんだよ >>571
春に20%還元やってたのに…(´・ω・`) 掃除のおばちゃんがコード引っ掛けてコンセントが抜けちゃったという都市伝説は本当にあったんだねえ >>599
他のカード会社はどんな体制なんだろうな？
その比較で責任問題になるんじゃね？
銀行だと最近はホストデータとバックアップデータのセンターを物理的に遠くに離して運営してるけど、
カード会社はそこまでやってるかね？ >>599
だね。
通常は別サイトのサーバにフェイルオーバーさせる構成をとる。 >>599
いや、普通はデータセンターの電源は落ちない前提でシステム組むぞ どうせ楽天が下請け買い叩いてるから
こんなレベルのDCしか受けてくれなかったんだろうな >>605
あれは異常が起きたらエンジニア呼ぶだけの係。エンジニアを常時配置しているところはあまりない。 >>614 UPSのバッテリーはバイクのバッテリーだぞ。 楽天カードやpayのトランザクションって
もの凄いんでしょう
そこでサーバ電源喪失
怖すぎる >>1
よく分からんが、そういうもんなの？
なんのためのバックアップかわからないよ、それじゃ。 >>605
有人ではあるなw
最近は完全無人の製造工場とか、
そっちの方が信頼できるんだが 11月は楽天持ち、とやったら二匹目のドジョウ狙いでユーザ数爆上げするかもなｗ
>>629
データセンターの機能消失を前提にしないのは甘え
いくら堅牢だろうと天変地異には勝てない >>622
たとえデータセンター側に問題があっても
業務が継続できるよう備えておくのが
サービス提供事業者の役目だろ、ってこと 詳細言わずに、システムちゃんと動いてますか？って問い合わせあったのはこのせいか… >>615
委託費が高いからチャイナならともかく
日本の会社では払えない 貧乏だから あるあるw
延長コード電源タップつかってたんじゃねーの？ 抜いても問題ない
ACｱﾀﾞﾌﾟﾀｰ抜いたら電池で動き続けるﾊｽﾞなのに
その電池をあえて取り出すということをやってる >>638
データセンターを採用して全体構築したのは楽天
責任ないわけないわなw >>639
そう
それはそうだけど費用対効果をかんがえてやるよ
データセンター冗長までやると単純に考えて2倍以上の金がかかるからな >>584
そういうのあるな〜。昔、１０年間ぐらい電源を入れっぱなしのＶＴＲを移設する為に、正常に電源を落として、３日間保管して電源を再投入したら起動せず。電源のコンデンサーがお亡くなりになっていた。 >電源設備の更新作業中に
主電源落ちるってわかってんのにUPS外すって意味わかんねーんだけどwww
いやー・・・現場ヤバいね・・・バカしかいないのかな？ なんか日本のインターネット絡みのシステムは、
ハードでもソフトでもお粗末だな。
数ばっかりで基準以下の技術者しか居ないんだろうか。 本当にこんな理由なんだろうか？
もっとヤバい話なんじゃないの？ >>501
一時電源落ちてシステム全体が死んだとして、その後に何日にも渡って死んだままなのは楽天のシステムのせいじゃね？ >>630
九州ローカルの小さい信販会社を楽天が買収
だから福岡なんかにある >>619
都内でかき集めると単金50位要求されるんだが、こいつらはちょっと前まで30万いかない奴らだから 複数のデータセンターを用意して、両方にフェイルオーバー可能な構成を取ってる金融機関なんてそんな数無いよ
ニッセイも第一生命もできてないから >>618
きみ、日本社会が労働力不足で何百万人も外国人入れてるの知ってる？
近所のコンビニとかどう？都会のコンビニは外国人がほとんどだよ
ホントに人がいないんだよ、人がいないから廃業という会社も最近増えてる >>581
>>641
AmazonのAWSの障害の時も皆、誰も他のサーバー会社に分けてなかったろwww >>659
経営者もあれなところあるけど、現場の人間の質も下がってる印象あるよね。 なんで九電なんていう田舎会社使ったんだろ
安かったのかな？ 楽天には金融庁からお叱り文書がくるでしょ
通信事業のほうではすでに総務省からお叱り来てるしｗ
三木谷窮地やん > 電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止
えっ、えっ、やべっ、つって挿し直したのが７秒後か。
アホすぎる。 いやデータセンターの電源全喪失とか長年語り継がれる伝説みたいなこと起きたら、メガバンですら致命傷だから。
これで楽天叩いてるのは何も知らんやつ。 >>653
いや、記事書いたやつがわるいよこれは
UPSの交換作業中に系統がAからBへ切り替わって
切り替え時の瞬断中はUPSが受け持つはずだった
Aが落ちた原因は過電流遮断器の設定ミス
みたいな感じ ちゃんと人にお金かけないから。
安い人件費にお値段分の人材しか来ないからな。 >>654
そりゃ安い給料で買い叩いてるんだから
優秀な奴なんているわけない
優秀な奴は起業してるよ >>662
つ【あいおい】
つ【損保ジャパン】
これは合併前のしこりが残ってるだけかｗ >>619
流石にここ2,3年の新人はホントひどいのがいて、かまってるだけ無駄。
何も仕事させないほうが効率いいぐらいなのでお引取り願う。 >>659
>>667
マイクロソフトもアップデートでやらかしてばかり
AppleのiOS13は不具合ばかり セブンペイのやらかしと根っこは同じなんだろうな
人材を育てないで使い捨てにし続けてきたから碌なのが居なくなってツケが回ってきた感じw >>654
web系のなんちゃってIT企業は
アプリ、ソフトばっか重視でハードに無知な人が大半
リダンダント電源って何それ美味しいのレベル 完全なBCPが要求されるなら
ｸﾗｽﾀ化によるﾌｪｲﾙｵｰﾊﾞｰはｱﾀﾘﾏｴ そんな簡単にUPS外せるわけないだろう。
どうせモタモタ作業しているうちにUPSのバッテリーが切れてゲームオーバーとかそういうやつだろう？
たった7秒の電源断で障害がそこまで長期化するとは到底思えない。
ゲロっちゃえよ。
なくしたボルトを探していたと。 さすが修羅の国九州。炭鉱夫の子孫が食いっぱぐれて雇われIT土方してるんかｗ ようするに、いきなりサーバーの電源を引き抜いたのと同じだからな。
OSがいきなり死ぬのは、DBもミドルウェアも想定してないから、データ破壊される。
そりゃ簡単には復旧できません。 >>539
まったくそのとおり
人売りなのにベンチャーとかいって新卒までどんどん採用してる企業もある
株式会社ボールドとかね
ここ、有名らしい ダウン中にカードが使われたであろう損害は補償しなきゃならなくなるな バカバカしいけど原因がはっきりするのはいい
よく分からないまま直ったとか不具合を再現できないとかの方が厄介で恐ろしい >>662
楽天は金融屋でなく、IT屋のつもりだぞ
それも古株の！自前でやれないわけが…できないよ！ 一部の素人と基地外が被害者の楽天を叩いているのが恐ろしいわ >>1
ラックに収まってるのに外すか？
最近の連中はわけがわからんな 掃除のおばちゃんがコンセント抜く案件は
テレホ時代から今日まで実在するのだ データの整合性が取れなかったり処理中のクラッシュでファイルが破損したり・・
単純では無さそうだねえ
UPSを外さないと電源設備を更新出来ない配線・構成になっていたとか？
楽天ペイは消えたな
可哀想にw >>696
楽天は停電の被害者かもしれないけど、金融ユーザへの背信でもあるぞ >>368
楽天プロパーで決済額日本一になったなら、データセンターも日本一にしないとな！ >>696
いや、楽天にはあきれてるってだけだぞ。どーせコストみてDR構成とってないんだろって。
DC側の落ち度なのは言うまでもない。 英語で書かれた作業マニュアルを作業者が読み違えたんだろ。
社内英語化する前に日本語作業マニュアルを整備しろ まさかデータセンターの電源設備更新にUPS外すって電力会社の子会社だよね作業したの
主から予備に切り替わるときにUPSが死んでたから給電されずに止まったってことでしょ？
十分想定できると思うが・・・どんな計画立ててたんだか >>703
楽天だけじゃなさそうな。
というかケチる企業もあれだけど、リスク回避についてきちんと説明してるんだろうか。
というかまともなITコンサルタントが不在なのかね。
やるだけの業者ならそこまで考えなしにやるのも分かんだけど。 中華電子マネーがアジア覇権狙ってるから気を付けとけ >>521
故意でなくても、普通に債務不履行で損害賠償だよ。 電源設備の更新作業の工事情報を派遣社員が把握してなかったパターンかな？ >電源設備の更新作業中
QTの電源工事担当者は素人か？？
確認も無いって事はひょっとしてQTの担当者は作業立会してなかったの？？ 作業ﾐｽはおきうる
それをﾘｶﾊﾞﾘできる全体としてのｼｽﾃﾑになってない >>684
あ、渋谷なんすけど、時々、タクシーのトランクから
1Uのサーバー引っ張り出して細いのが二人してエッチラオッチラ持って
ビルに入ってくとこよく見ますww クラウドなんかいっぱいあるから
こんなチョンボしたら一発退場だわな
でも全く二重化してない楽天の責も当然ある >>711
多重化の切り替わりを安全に行うための装置をちょうど外してたところで
元電源から予備電源に切り替わって発生した事故だろ 7秒止まっただけで障害が出る利用各社のシステムのも問題があるのでは？ >>713
ITコンサルなら楽天に腐るほどいるだろ！
腐ってるのしかいないが >>674
社外のクラウド使って予備のバックアップなしとか金融機関であり得ないが
銀行が予定外で一斉ダウンとか行政処分ものたから >>570
ファイルシステムによっては書き込み中に電源が落ちるとファイルシステムごと消失するものがあった気が >>713
いまクラウドでやってるんちゃう？
個人情報だけどやむなしやろ >>716
可能性あるね。作業手順書やチェック表などもロクに無かったのかも。 楽天はアクセンチュア（）のコンサルでも受けるといいよｗ >>705
なんか邪魔だったんじゃね？wwwwww 流石にどんなシステムも
電源喪失復旧試験はしないだろうw QTnetとかなんかふざけた名前だしな 結果ふざけた設備だったわ 要するに楽天のｼｽﾃﾑは
ｼﾛｳﾄの工作並にｼｮﾎﾞｲ >>715
法人利用なら引き落とし不可で金融事故になる
口座停止になるレベル 電源が7秒の落ちたくらいでシステム全般が復旧に手間取るってどうなのよ 知人にポイ活勧められて今月楽天カード作ったばかりだよ
よくわからないんだけど影響出そうなのは楽天ペイだけなのこれ？ 高所作業員が命綱外して作業してたら転落死した感じ？
命綱の意味ねぇだろ(´・ω・｀) コンセントに普通挿さってるよなupsて
わざわざ抜いたのは何故なんだ >>700
いや、通常そういう構成はありえんだろう。
なぜ間違ったのか理解不能だが >>734
楽天のお金絡みは使えない
楽天証券もすったもんだあったし >>723
いきなり電源が落ちて書き込み中のファイルがぶっ壊れると、OSが起動してもその上の
データを持ってる業務アプリが動かなくなる。
これは電源断時間が７秒だろうが、１秒だろうが、影響度は同じ。 作業員 彼女に振られてイライラ
作業員 テロを思いつく
作業員 ミスでした テヘペロで押し通す
作業員 解雇されナマポに これが初めてってわけでもないんじゃない。
こういう事故はたいてい常態化してて起きる。
「たまたま」ってことはあまりない。 すごいな、日本の精神世界の人間が作りし日本の技術者は。
人を勝手に繋いでいって、マトリックスみたくの世界を作ろうとしてこのザマ。
魂の親とやらは、俺の気を入れたから、即一流の技術者になったはずとか思ってたんだろうかね。 >>739
いや、やるよ。
構築時に試験もやるし定期的にBCP(ＤＲ)訓練もやる。 >>752
なあなあでやってたら本当に発動しちゃったんだろうな データセンター借り物とかあり得んな
俺の会社ですらデータセンターは自前で場所は極秘
且つバックアップセンターもある
クレカ扱ってるのにショボすぎじゃないか >>744
レジでバーコードかざして７秒待てるくらい
システム処理が遅くて良いなら可能 >>690
エンジニアは可哀想だよ。起動ですら大変なのにデータの整合性の検証や復元、客先への対応。やること多すぎて数ヶ月は終電コースだな >>711
だよな。
冗長化しないとか金融のDCでは有り得ない。
ゲームサーバーのほうがまだまし >>754
やらんよ
コンセント引っこ抜くのか
フェールオーバーでもシャットダウンコマンドでがせいぜい 楽天カードマン「これでいいんですか？いいんです！」 >>747
えっ？
そういうレベルのサーバー使ってるの？ 楽天ポインツ補償してあげてねー
カードマン頼むねー 元請けも発注側もシステム把握してないんだろ
下請けは電源切っても大丈夫って切っただけじゃないか >>752
去年の３月に何かあったな
あのときに似てる事象とは思ったが掃除おばちゃんコンセントでは無かったなｗ >>764
俺もよく分からんけど
upsって補助電源みたいなものだろ？
コンセント→ups→PCじゃないのかな 楽天にいいこと教えてやる
GoogleドライブとAmazonクラウドにバックアップファイルをアップしておけ >>763
最近いいんですって言わないよ
「いいんでしょうか！？？」だから疑問に思ってたんだよ ヘボミスも良いところだな
電源切り替えというリスク高い作業でこんなミスしてしまう連中の能力なんかたかが知れてるわ >>761
LANケーブル引っこ抜くのはやるけど電源ケーブル引っこ抜く障害試験はやったことないなぁ
下手したら物理的に壊れる試験は普通のところは計画しないと思う 予備の電源も含めて全て落ちた場合に備えて
安全にサーバーを落とすためのUPSを外すなんて
交換時以外無いだろうに。 >>769
そだよ。
電圧安定化のために両系ＵＰＳから電源供給することもある。 何やつながったままじゃ交換できないやん外したろ！
くらいの勢いで作業したんか
作業員なんか底辺だろうから手順と元の構成がミスってりゃ起きなくもない…のか？ そもそも待機系ｻｰﾊﾞｰが一切ないという
ｶﾐｶｾﾞｼｽﾃﾑといっていい
すべてのﾊｰﾄﾞｳｪｱのｸﾗｽﾀ化がないということだからな こんな障害時も、楽天社員は英語で会話しないといけないの？ 今はパフォーマンスをだすために、揮発性のメモリーに更新をさんざん貯めておいて、
あるタイミングで一気にSSDやハードディスクに書き込む技術が流行ってる。
なのでメモリーがいっぱい情報を持ってる状態で、電源がいきなり死んだら昔のシステムよりも
致命傷を食らう。なんでこんなアホな仕組みが、はやってしまったのか。 あ、リダンダントの電源がちゃんと動くかという意味なら電源ケーブル引っこ抜くことはあるけど 楽天のせいじゃなかったのか
これのせいで楽天はかなり評判落としただろ
可哀想 >>723
完全に致命傷。インフラ系は終了するだけでも厳密に手順書を守る必要があるのに急に電源を落とされるとどうなるかが本気でわからん >>641
そりゃ無限に金が有ればお前の言うとおりかもな
現実には有限なんで何処で妥協するかって話で今回の場合は楽天は被害者って事だろ どっかのネットワークデータサーバーやってたな ２流すぎんだろｗ ハインリッヒの法則の「２９の軽微な事故」
を飛び抜かしてる気しかしない
頂点目指しすぎだろ
Pay始まったばかりだぞ >>782
Oops！
OMG！
What's happen？
Really？ サーバに限らずハードは一旦電源落ちるとどうなるかわからないから
電源系のメンテは相当神経使う たぶん、足に引っ掛かって外れたんだな。よくあること >>777
間にたつまともな企業がないんだろう。
人命の危険があるわけじゃないから、そういう専門集団に頼ることが少ないし育つ機会もないのだろう。
海外じゃ会社潰れるくらいの違約金や賠償金払わされるリスクあるからそうはならんけど。 楽天ペイが陥落してLINEPAYは買収されてPAYPAY一強だなこれ こういうこともあるから
データセンターでも
自前のUPS導入してるとこはあるよ >>782
これから日本語で話していだいて結構ですから >>788
キャリア事業者に名乗り出るならそれくらいやれよ QTnetが原因でもユーザーからすりゃ楽天が悪いってことになる UPS使ってる奴はバッテリーに気をつけろ
長く使いすぎるとへたったシール電池が膨らんで出せなくなったり
液漏れもありうるぞ
高いと思ったら秋月LONGでも入れとけ >>774
電源ケーブル抜きはやらないが、ディスクの電源OFFはやった >>783
そういう時用にディスクに書き込む時間を確保するための補助電源（UPSじゃないよ）はある >>774
電源を引っこ抜くテストは、UPSに繋いだ状態でUPSの商用電源を引っこ抜く場合だけだよな。
稼働中のサーバーに電源をいきなり抜くのは、物理的に機械が壊れる恐れがあるから普通はやらない。
仮想サーバーのOSならあり得るかもしれないが。 新人かアルバイトかな。
そんなん聞いてないし俺悪くないしw
とか朗らかに笑ってそう。 BCPが要求されるまともなｼｽﾃﾑなら
待機系ｻｰﾊﾞｰにきりかわる
電源喪失してもどうってことない >>804
というか、なんで日本一のクレカが一本足打法なんだっていう
王貞治かよ >>76
書き込み中に停電だと、データが壊れる「可能性が」ある
そしてもっとメンドウくさいのは、データが壊れているかどうかの判定
全データが何Ｐバイトあるか知らんが、読み出すだけでも数週間かかりそう >>683
実際作業するのは何次受けだか分からない下請けなのかな
そこまで行くと作業内容なんか禄に伝わってなさそう >>761
一定規模の企業、システムならやることが多い。
震災を契機に大分見直されたよ＞ＢＣＰ
電源全消失というよりもサイト障害想定。
もちろん、サーバも電源も多重化してるからヘーキヘーキの企業も多いことは確か。 おいおい なにUPS外しとんねん！
UPSってなに？ 津波のせいで非常用電源が作動しなかったんだろ
ジャップではよくあることやぞ 何多重で構築しようが
今回みたいにデータセンターが全電源喪失したら
そんなの試験できる訳ねーじゃん サーバの電源が付かない！と騒いでたらUPSの電源が入っていなかった経験あるな。。 ＞電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。
上層部はアホだからメンテのために一瞬も止めたくなかったんだろうな
お陰様でその数百倍の損失が発生ｗ おまえら許してやんなよ。誰にだってうっかりはあるｗ 何かひたすら楽天の所為にしないと気が済まない奴が涌いてて気持ちが悪いな >>827
データセンター作って、本稼働前にテストするんだよ 何万人？って関わる所が無知な契約社員？派遣？が関わってる所が怖い..マジかと思う... まあ、銀行を出自としてるところは安全性に関しては必ず二重三重のセーフティ敷くけど
所詮楽天にはできない芸当なんだろうね。 >>6
googleとかはUPS違うらしい
バッテリー内蔵なんやと
そもそもUPSなんて騙されてるだけ
ノートPCみたい考え方でええねん 切り替えっつってもUPSってシリーズに入れるから電源配線をつなぎ変えてたわけじゃないんだろ？
つまり単純な設定・操作ミスか？ 設置から関わってるような担当者が失敗するわけはないから
外注の依頼ミスとかかな >>836
日本人にはＰａｙは早かったんだよ･･･ >>827
ちょっと前まで建前だったBCPがやたら厳しくなってきている
拠点機能ロストを事前検討していないのは甘え >>837
ノンバンクでもさすがにここまでお粗末なシステムにはせんて 260社中237社は復旧させたのに楽天だけ復旧させられてない >>69
その掃除のおばちゃんはセキュリティのプロであった あらら金の関わる設備は並列給電可能なＵＰＳ使わないと
メンテナンス屋は今頃半泣きで顛末書作ってるだろうな >>827
北海道の大規模停電を忘れたのかね
時代は変わってるんだよ スノーデンがワンクリックで日本中のシステムをダウンさせることができるっていってたな。 >>807
大陸バッテリーでもメンテで交換してる方がマシかもｗ
秋月は少しGSユアサも扱ってるけどね >>838
それだ！！！
今回のような事故を防ぐには、サーバー機を全部ノートパソコンにすれば良いんだ！
サーバー機がノートパソコンなら、今回の事故は１００パーセント防げた。 >>669
楽天カードもYJカードも元は同じ国際信販
九州の会社 >>837
銀行でシステムダウン→金融庁に怒られる
証券でシステムダウン→金融庁に怒られる
通信でシステムダウン→総務省に怒られる
電力でシステムダウン→経産省に怒られる
楽天でシステムダウン→客に怒られる(ハナホジ 12月の請求の扱いだけきになる。
事故る前の分消えた噂は本当なのか？ ＵＰＳくんも悔しかっただろうな
俺がいたら大丈夫だったのにー！
穀潰しと陰口言われながら無駄飯くって居座ってたのはこの日のためだったのにー！
って マスコミが連動して楽天攻撃してたから計画的な可能性すらある。
雪印や不二家もやられたよね、 楽天信用失墜とか言われて三木谷相当怒ってるだろうなぁ
賠償金要求された上にデータセンター他社に徐々に移されて最終的に倒産まであるか UPSが壊れててもそのままにしとく会社ってありがちだよね
で、おなじみの >>752
令和元年台風19号の消防ヘリ救護者落下殺害事故を思わせる データセンターで働いているのが全員派遣社員で正社員が１人もいないところとかもあったぞ。
しかもサーバーの種類も知らない程度の奴がテープ交換作業やっていたりとか。
UPSが予備で稼働してない状態でサーバーを運用して電源更新工事とか素人しかいなかったのだろう。 たぶん、現場は急がされていたと思う。
確認しないのも悪いけど、こういう業種は時間との勝負だもんな。
でも、将来のAIには抜けは停止するコンセントはそばにつけておいて欲しい。 >>856
パフォーマンス落ちるやろｗ
専用の作るならともかく
汎用の使ってんだろうしｗ >>863
さすがにデータ保全はしてるはずだから多分ちゃんと請求来るｗ >>837
楽天自身に技術ノウハウがなくて、実績なＳＩＥＲを使えば良い話
その辺もケテったんでしょうね 何処かでデータセンターで火災起こったことあったよな。同じ事が起きても詰んでた訳だ。 >>769
> upsって補助電源みたいなものだろ？
それはあってるけど
> コンセント→ups→PCじゃないのかな
この状態でUPSがつなげてあるコンセントから電源ケーブル引っこ抜いても動くためにあるのがUPS
電源にも冗長性を求めて構成するとこう
https://jp.fujitsu.com/platform/server/primergy/peripheral/gp5-upc04/image/image04.gif >>668
無停電電源装置がＵＰＳ
定電圧定周波数電源がCVCF
因みに理屈は一緒 これ大事なデータふっとんで復旧できなくなってんじゃない？
ハードは壊れてないけど再開できる状況じゃないとかｗ >>834
データ復旧観点のテストなんかできんだろう
そこはどこでリスクを担保するかの範疇超えてると思うが >>869
いやー、電源設備入れ替えだから全部バイトはないだろう >>878
生保・損保もやってるんだぜｗ
実際に災害が起きて名寄せできるのか怪しいもんだわ セーブモードで起動できないのか？
Windows以下だな >>856
セル方式だと高い頻度で機材の交換やデータ移行が必要になる
技術者常駐のDC以外は保守不可能 >>832
楽天みたいに総出で叩かれることなどなく、スルーされたよ。 来年の情報処理技術者試験にはこのテーマで一題出そうな気がするなｗ 麻酔や生命維持装置無しで手術したら死んだでござるの巻 一方北海道の震災で全域停電しても
さくらのDCは非常用発電で乗り切った >>884
普通はそうだが、既に普通じゃない事態が起こっているからな UPS外すぐらいだし、重要データのバックアップも取ってないとか。 >>867
論外だけど結構多いよね。
小さいとこは >>888
ファーストサーバも普通に袋叩きにされてたがな 二子玉行ったことあるけど、自前のエンジニアよりベンダーの巣窟だった印象が。
出入り業者もランチ無料とかでいいなってw
ただサーバのチームは社員やベンダーの外人部隊だった気がする。 >>888
「まあヤフーだからね」がここの総意だったなｗ >>856
実際悪くないよそれ
やったことあるし
>>872
まあ、確かにパフォーマンスはでないんだけどね
処理能力がどうでもいいやつなんかは取り回し楽で役に立つ >>891
あのときは非常電源で乗り切ったところ、
別サイトに切り替えたところ、色々あったみたいね。 >>781
今どきのシステム構成はよう知らんが
仮想化技術が当たり前になってからは
可用性なんて当然のごとく保証される構成が普通になる時代が来ると思ってた 掃除のおばちゃん「寒い部屋だわ、ちょっとホットプレートで焼肉しよ」 犯人探ししてる暇があったらとにかく復旧させろよマヌケ >>856
ノートパソコンのバッテリー交換作業中にコンセント抜けたのが今回の事故やで クビになっても
楽天のｖｓ企業に面接行けば雇って貰えるね
おもろ >>397
7秒間にどんだけアクセスがあると思うんだ 単発サーバでやってたの? バックアップなし？
携帯は5000人試用でも使い物にならんかったし 楽天お粗末すぎワロタｗ >>912
イーバンク銀行って経営的に上手くいってないから
ライブドアの出資受け入れて乗っ取られそうになった銀行だぞ >>909
仮想環境もハードウェアの上に成り立ってるから電源落とされりゃ終わりだろ
折角仮想化してるのに予備系作らなかった場合は知らん ヤベッって言いながら即刺しして余計トラブル起こしてそう なんでUPS外したの
よしUPS外すぞって外したのか何かの拍子にやっべ外れちまったなのか
どちらも考えがたい
安倍ちゃんが引っこ抜いて逃走した陰謀説の方がまだ納得できる まあ、まさか常用電源が設定ミスで落ちるとは思ってなかったから >>914
でも九州電力の保守作業員が、ラックをあけてノートパソコンのバッテリーを外さないだろ。 >>916
5ちゃんの「バルス」よりは少ないんじゃね？ 電源が落ちたのはデータセンターのせいだとして、未だに復旧させきれないのは
電源喪失時の復旧手順を楽天は持っていないってことなんだよ データセンターでしょ？
お粗末すぎる
素人かよと思う >>916
アクセス数以前に電子機器で電源停止なんて1秒でもアウト >>921
UPSこうかんすっぞ
で交換中に元電源が設定ミスで落ちた >>912
支店名がこっぱずかしいｗ
ダンス・サルサ・リズム・ラテン・タンゴ… >>914
そういう事かやっとわかった
説明上手だな この騒ぎでヤラカシたQTネットの良いところは、
CMキャラに川口春奈を使っているところ
他は知らん ネジ抜いて外したってことだから
根本的に間違った奴が作業してたな >>919
電源の話じゃなく「待機系がない」ということに対して言ってるんだが なあ、パワープラグとかUPS間違えて抜いたとかトンチンカンなこと言ってるのおるけど、ご家庭のコンセントとセンターの受配電設備を同じに考えちゃだめよ
しっかりした設備だと電源の接続は例えばこんな感じの分盤内に並んだ端子台に太いケーブルをボルト止めしてあって、抜くにはまず端子台のカバーを外し該当端子以外をビニールやテープで養生して2〜3人がかりで外すようなものだ
https://i.imgur.com/4140Dsf.jpg
UPSも設備用の数十kVAのはこんなイメージで人の背の高さくらいあるのが多い
https://i.imgur.com/zocxyEY.jpg
推測だけど設備更新ってことだからUPS含めて片系の盤を完全に止める前提の作業だった可能性があり、作業員が間違ってコンセント抜いたとかいう単純なミスではないだろう
もしそうならもう片系の冗長性をどこまで担保するつもりの手順書だったのか、そもそも障害でもう片系も止まってしまうリスクを業者・施主ともに把握承知したうえで作業していたかどうかが問われる スレタイしか読まない馬鹿が楽天を批判してるのが一番滑稽だよな。 >>914
ノートパソコンのバッテリー交換でコンセント繋げないだろ普通。
電源落としてからバッテリー交換しないの？ UPSの意味無いな
うちの会社の糞鯖ですらUPS繋いでしょっちゅうピーピー鳴ってるぞ >>926
そらそうだ
データセンターが非常事態で電源喪失する場合は
非常用電源の残量見ながらサービス停止は想定しているだろうが 良くわからん。
電源2系統以上あるだろうし
電源周りのメンテ作業で片系運転してて
正系に問題が起きて、正系につないでるUPSもバイパスにしてたってこと？ >>6
文面読む限りセンター側のUPSじゃね？CVCFがあるセンターでラック内に自前のUPS置くことは基本無いと思うが。 >>921
UPSってのはノートパソコンのバッテリーみたいなもんだから定期的に交換必要なのよ
で、交換作業中に主電源が落ちたのが今回の事故
予備電源が立ち上がるのに7秒かかったがその間バッテリー外してたから電源が完全に喪失した >>937
復旧しきれないことについては楽天は批判されてしかるべきだと思うが >>1
誰かがコンセントに足ひっかけて外しちゃったようなもんか。 >>926
DBの整合性が壊れてシステムが動かなくなったんじゃね？ >>944
データセンターなんて
主電源自体がある意味巨大なUPSから引いてるのに
そこを寸断しちゃったらどうしようもないわな >>935
ブレーカーみたいだな
ボタン一つで落とせる？ >>944
２系統の切り替え時の短時間の瞬断を受け持つUPSを交換中によりにもよって切り替えが発生してしまった
元系統がおちたのは過電流遮断器の設定ミス ここまでリスク高い作業なら他の更新が完璧だったか確認してからやらんと駄目やん データ飛んでたりしたら面白かったんだがな
今月分チャラとか割と凄い事になる そんなことより期限切れになったポイントどうしてくれんだよ！！ なんか2UくらいのUPSと勘違いしてるバカが多いな。 データセンターによってはUPSのバッテリー障害あるからやめたほうがいいよ！って言われる。 >>953
物によるけど普通のＵＰＳは手順踏まないと停止しない
容量が大きくなれば成る程落とすのが面倒臭い >>949
楽天カードの12月の請求がまだ見れない。 >>944
UPSメンテ中に正系電源が喪失したって話でしょ
本来なら非常用電源に切り替わるまでの間をUPSが埋めてたのに、UPS全部外してましたと >>775
>>776
DCに落とすための客用意UPSはあんまり置かない
基本落ちない前提
DCにあるのは停電や切替ブランクをしのぐための単なるバッテリー
メンテのために切替無効にしてるところに稼働系が落ちた >>930
プロのダンサーがダンス支店だった。やつらには人気らしい >>909
流石に電源丸ごと落ちることを想定するのはそれなりのプロじゃなきゃ無理だろ
普通のIT土方には無理 >>932
責任とって川口大河降板
NHK涙目で次の後任探しｗ
>>949
まだ混乱中です
楽天のスレより
174 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2019/11/26(火) 18:17:59.89 ID:Ll/5YTHl
楽天カードまだ使えねーじゃないかよ
この度は楽天市場内のショップ「○○オンライン」をご利用いただきまして、誠にありがとうございます。
ご注文いただいた商品のお支払い方法にクレジットカードをご指定いただいていますが、クレジットカードがご利用いただけない状態です。
恐れ入りますが、以下の情報をご確認のうえ、お支払い方法の変更、またはクレジットカード情報の修正をお願いいたします。
なお、期限内に変更されなかった場合、本注文は自動的にキャンセルされますのでご注意ください。
■ お支払い方法変更・修正期限
2019年12月03日まで
■ お支払い方法の変更・修正はこちら >>954
事前に受電系とは完全に別系統の例えば非常用発電機系に切替えた上で作業できる環境なら良かったんだろうけどね やらかした下請け今頃阿鼻叫喚なんだろな…
なんか理由があって外してたのかは知らんが >>66
金融系SEを土方と馬鹿にする権利は奴らには無いよな
実際の体制がどうなっるかは知らんが これだと、電源冗長考えて楽天も構築してなかったな
災対発動もできないみたいだし、金掛けてないんだなやっぱり >>981
普通のＩＴ土方じゃなく、本物ＳＥの仕事 こんだけやらかしても首になって再就職出来るからいいよな
刑事事件ものだろ他の国なら >>987
なぁ〜にぃ〜やっちまったなぁ！の方だ w >>944
分電盤の内側に小さいUPS並べるとも思えないし
UPSより内側の分電盤が落ちたんだろ >>941
>>943
地震など物理的破壊を伴う事故だと冗長系含めた全電源喪失は普通に起こりうるから
サービス無停止系の対策は無理だが復旧手順は必要 運が悪い奴もいるもんだな。
人災だがにしても。。。 停電するんで全ての電源を切ってください、を忠実にやってたりして おいいいいい
三木谷怒ってるかもしれないが、みんなで殴りに行こうぜ？ このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 2時間 2分 42秒 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php レス数が1000を超えています。これ以上書き込みはできません。
