【IT】スパコンのバックアップ機能に不具合 約77TBのデータが消失 京都大学 [凜★]
レス数が900を超えています。1000を超えると表示できなくなるよ。
■京都大学(2021年12月28日)
2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました.
皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます.
今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします.
★ファイル消失の影響範囲
・対象ファイルシステム:/LARGE0
・ファイル削除期間:2021年12月14日 17時32分 〜 2021年12月16日 12時43分
・消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル
・消失ファイル容量:約 77TB
・消失ファイル数:約 3400万ファイル
・影響グループ数:14グループ (うち,4グループはバックアップによる復元不可)
障害情報:【スパコン】ストレージのデータ消失について
http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/trouble/detail/211216056978.html
★ファイル消失の原因
スーパーコンピュータシステムの納入会社である日本ヒューレット・パッカード合同会社によるバックアッププログラムの機能改修において,不用意なプログラムの修正とその適用手順に問題があったことで,本来は不要になった過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作しました.
日本ヒューレット・パッカード合同会社から提出された報告書を掲載します.
Lustreファイルシステムのファイル消失について (日本ヒューレット・パッカード合同会社)
★今後の取り組み
現在バックアップ処理を停止しておりますが,プログラムの問題を改善し,確実に再発しない対策をした上で1月末までにはバックアップを再開する予定です.
ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから,将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします.機能面だけでなく,再発防止に向けた運用管理についても改善に取り組みます.
一方で,機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します.
※全文は元記事でお願いします
https://www.iimc.kyoto-u.ac.jp/ja/whatsnew/information/detail/211228056999.html 京大医学部が731部隊の主力だったという事実は永久に消えないからな この程度のものさえ扱えないのが京都大学。廃校してしまえよ。京都は大学が多いし一つくらい減っても誰も気にしない スパコンなんて計算に使う一時的な物しか置いてない
データセンターとは違うのだよ 毛が気が狂ってやった中華大革命に比べればこれくらいの情報なんぞ屁でもない >>4
京都大学のせいなのか?
文章みると納入会社側のバグじゃね? iPS細胞がどれだけ成果を上げようが
京大医学部が主力を成した731部隊が奪った命は帰らないんだよ
罪は消えないんだよ、永遠に こんなことありえるのか?
京大のスパコンはRAIDすら組んでないのか? データ復旧サービスになおして貰えば大丈夫、メルコとかやってるだろ これは米帝による日本破壊工作
京都にも原爆投下するつもりだった鬼畜米軍 スパコンでも
やってることはログ消す運用スクリプトのrm -rf に渡す引数が間違ってて
親ディレクトリまるごと消えた
みたいな新人SEレベルのミスくさい 俺の貴重な90年代円光物お気に入りライブラリが、、、😭 バックアップの意味!
どうせ古いハード使い続けてんだろ 77テラバイトって
64Gのメモリーカード
何枚分なんすか? >>4
京大の職員じゃなく管理してるのはHPだよ
予算がないからいいかげんなシステムになる
理研の富嶽よりよほど稼働してるのに富嶽の予算の1/10でもまわしてやればこんな事は起きなかった >>18
こういうのってたいがい免責条項があるんじゃね?
逆にちゃんと補償規定とかあるんかな 使えるグループは限定されるから、容量の割には影響範囲は狭い、クローズされた世界だから備忘録代わりに使っている先生もちらほら、頭の中にだいたい残ってるから ミラーリングはバックアップではないとあれほど言われてるのに
ファーストサーバでも大事件だったろ >>13
RAIDはストレージの故障を担保するもの
バグありプログラムで消失したデータは無力 「バックアップを自動的に取る(環境依存でいろいろいじっていらんファイル消したりする)プログラムが誤作動して
ユーザが使う領域にあるファイルを論理的に消してしまった」
ってことなんだろうから、パソコンの大先生が「ぼくのいえのこわれないハードディスク」
講座開いてもどうにもならん ,と.がいかにも理系の文面だね
俺は日本語の時は全角使ってたが あー、うちの会社でもこの前あったわ
バカがルートディレクトリでrm -rf実行しちゃったんだな >>13
RAIDはアベイラビリティの機能であってデータの保護ではないぞな
今回の場合は普通に消える スパコーン!( ・`ω・)⊂彡☆))Д´)フガクッ! 京都大学もレベルが低いね。
日本のITってゴミレベルだよな。 スパコンのデータ復旧サービスってあるのかな?
あったとして極秘情報があったら業者に依頼しにくいよな
で、なんで謝罪してるん?誰かに影響あるん? ミラーしてなかったのかと言ってる馬鹿なヤツがこういう取り返しのつかないエラー起こすんだよなぁ
ちゃんと記事と報告書読んだのかよ 俺の計算結果が10TB飛んだ!
謝罪と賠償を要求シル! こういう作業はちゃんと手順書用意して二人で指差し声出し確認しながら進めないといけないのに >>27
日本て防衛費に関しても 騒ぐだけ騒いで予算がつかなかったりしてたし
普通に大学研究から素直に出さない感じ?
米国では普通に大学参加なのに HPの説明書見たら、ほぼ思った通りで草
○ずほ銀行レベルの下請けがやってそう
https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf
バックアップスクリプトには、find コマンドにより 10 日以上古いログファイルを削除する処
理が含まれています。スクリプトの機能改善と合わせて、find コマンドの削除処理に渡す変数名
を視認性・可読性を高めるため変更いたしましたが、この修正したスクリプトのリリース手順に
考慮不足がありました。
bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動によ
る副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きに
よりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、
結果的に未定義の変数を含む find コマンドが実行されてしまいました。この結果、本来のログ
ディレクトリに保存されたファイルの削除をする処理ではなく、/LARGE0 のファイルを削除し
てしまいました。
(※たぶん変数が空になってしまったので、実質的にrm -rf /が走った) 謝罪文に”悪いのは”(日本ヒューレット・パッカード合同会社製)なんてわざわざ入れる?
みっともない。 どう見てもLinuxのスクリプトの挙動を理解してない新人の問題
2人体制で指さし確認とかミラー云々の話はお門違い
3 ファイル消失が発生した原因
バックアップスクリプトには、find コマンドにより 10 日以上古いログファイルを削除する処 理が含まれています。スクリプトの機能改善と合わせて、find コマンドの削除処理に渡す変数名 を視認性・可読性を高めるため変更いたしましたが、この修正したスクリプトのリリース手順に 考慮不足がありました。
bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動によ る副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きに よりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、 結果的に未定義の変数を含む find コマンドが実行されてしまいました。この結果、本来のログ ディレクトリに保存されたファイルの削除をする処理ではなく、/LARGE0 のファイルを削除し てしまいました。 >>51
その3行書くくらいなら文系にわかりやすく3行で説明してくれ >>56
なんでしてないんだろ
この規模なら外部保管してそうだけどな >>65
俺はわかるよ大体。
たとえは違うがゴミ箱空にするつもりがcドライブフォーマットしたようなもんだろ多分。
会社で文系に説明するなら1の
文章は分かりづらい。 >消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル
ということは、本来は「バックアップ先のディレクトリ」の下をfindのオプションでひっかけて
10日以上更新してなかった古いバックアップを探して、そのファイル名を rm に渡す
みたいなスクリプトだったのが
探すディレクトリのパラメータが空になってしまったため
「ホームディレクトリの下全部を探して10日以上更新してなかったファイルを全部消す」
化け物と化した、みたいな話か まあ、国民の税金で蓄えたデータ、それも超重要データを外注に晒す京大の無神経ぶりが
招いた状況ということかな。悪く言えば。 >>64
その3行を2行にまとめて、後で教えてくれ w >>10
おい五毛、80年前の犯罪よりも、今の中国の殺戮を止めろよ。オマエが五毛じゃなかったら、習近平はクズのプーさんって書き込んてみろ。 >>69
京大は、頭に入れるから、無駄遣いしないだろう 自国でソフト作る脳がないからこういうことになる
わざとやられてるかもしれないんだぞ なぁ…これスクリプト見ないとなんとも言えんのだろうけど
「10日以上古いログファイル」
がゼロ件の時にも同じ事にならない? 教授が亡くなったり
ファイルが消されたり
なんか口兄われてんな >>61
お役所だから。
データ消失なんて大学はなんとも思ってないよ。ただうちの責任じゃないって事だけを強調しておきたいだけ。裁判になれば大学側の責任もある程度認められるからそれを見越した対応でもある。 バックアップ性能を向上させようとしたら、プログラムミスで本来削除しちゃいけないものを消しましたってことかな。 #!/bin/sh
:
# バックアップ世代管理
rm -rf /*
:
# 正常終了
exit 0 国の大切なデータも電子化すれば意図的に一瞬で消せるな >>1
HPの報告書わらた
ミス対応でこんな事普通は書けないぞ
京大の担当者なめられてるな
> 一方で,機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します. スパコンで消えて困るファイルなんて実行中の計算関係のファイルくらいでしょ tarコマンド ミスったか?
引数がややこしいからな >>60
この説明が本当なら、別のHDD用意すれば今すぐにでもバックアップ再開出来るだろうに 新人の頃の俺、相対パスで書かれた削除バッチを見て、怖くて絶対パスに書き換えたことあったな
削除ってこえーよな、やった方もやられた方も気の毒だ
削除はこういうの怖いからDBのレコードすら論理削除でお伺いしてしまうわ
スクリプトなりコードなり組み替えてく中で、カレントディレクトリの位置を変えちゃった状態で相対的にファイル消したりしちゃったのかな?
可哀想 >>92
まあシミュレーションで吐き出したデータだから
またバッチを走らせれば取り戻せるよ
時間はロスってしまうが、本人は寝て待てばいいだけ もうジャップってなにやらせてもダメだなwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww >>101
ネオジウム磁石運んでた学生が転んた先にたまたまLTOがあったらデータ消えるからな。 バックアップはさすがにあるだろうからこれだけ被害範囲が鮮明なら軽傷でしょ
でもこういうトラブルって自社に置き換えて脳内シミュレーションしちゃって無駄にドキドキするw やらかした社員に
「いまどんな気持ち?」
とコメント求めてみたい ミラーリングしかしてなかったのかよwww
猿かよw >>107
やらかしたHPから京大が受け取った報告文書
> 機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します. 報告書読むと原因が怖すぎる
そもそもbashのこんな挙動とそれに伴う起きえるリスクなんて自分も知らんかった
こんな仕様は認知してない限りはテストでも防げないだろうし罠がデカすぎるだろ… >>111
スパコンは時間貸しで高いからそれを止めるなんてとんでもない >>111
今回のこれ、原因を見る限りはテスト環境でのテストだと発生しなかった可能性高そう >>110
bashの挙動なんか知らなくても実行中のスクリプト上書きしたら危険だってことくらいわかれよゆとりw >>116
システム完全に止められれば避けられた臭くね?
常時運用型で更新作業するからこうなっただけで オーベルシュタインが軍の緊急用コンピュータにバックアップしてくれているはず。 >>4
読解力不足でケチをつける先を間違えてるぞw
お前の論旨に沿って正せば、日本HPなんか潰してしまえ、ということだよ。早く投稿し直せww タイトルだけ読んで架空の日本人を罵倒してる奴が多すぎて草 >>3
ワザとバカなレスしてレス乞食なんかしなくても…
いまどき、そんな事、信じてる奴なんていないでしょ >>121
某大学でテープライブラリの駆動系が壊れて
直すにも直せなくて読み出し手動だと整理つかないっていってたわ
もうずっと前の話だけど・・・ >>97が書いてるけど
普通は絶対パスにしてたとえ変数が空になっても誤作動で消えないようにするとか
rootとかで間違って動かされたときとかに全ファイル消すマンにならないよう
変数が空になってないかチェックして止めるとかするもんだと思うけど
まあ結局は企業案件よりヌルくて下請けの質が低かったとしか >>9
詳しいことはわからんが読んだ限りではそうだね。
ただ機器故障によるデータ消失までは損害賠償しないと
普通はどこも契約に書いてあるから最終的な責任は
そのメーカーその機器を選んだほう。 >>119
すまんね自分は素人なんでね
実行中でも上書きできること自体が怖すぎるわ シェルスクリプトはトラップ多すぎるから使うのは初期のテスト段階だけ。
後で全部高級言語で書き直してるわ。 >>126
京大の医学の教授が731の研究者を集めたのよ
京大ばかりと言うわけじゃないけど結果的に京大関係者が集まった
これを特集したNHKの番組を保存してるから
自宅に行けば確認できるよ >>4
閉鎖や補助金カットするならまず日大だろwww 京大レベルでシステム運用を現場で直接対応するわけねーだろアホか >>64
この程度の文章も読めない文系とか何のために生きてるの? シナチョン在日の学生や研究者を日本の大学から追放しろ
奴らが情報盗んだり破壊工作をしてるのは明らか >>10
武漢の研究所を潰したら全部消えちゃうとか、事故車両埋めたら無かったことになる、とか思ってそうw >>102
77tb分の紙テープだと保管料6億じゃ足りねぇよな >>130
HPは「補償については意向に沿うよう応相談」としてるな
さすが天下の京大や
https://i.imgur.com/v9NDR6p.jpg >>10
だから?
じゃあ原爆発明したアメリカの大学やアインシュタインは大量虐殺の加害者ってことになるね。 >>97
その仕様変更は勝手にやってないよな?
相対パスのつもりで実行したのに今回消そうと思ってない絶対パスの方を消す事故が起こりえないようにしたか?
特に動作テストの時とか。 事故の前に
韓国チームが不必要に冷蔵庫開け閉めしてたからな rsyncで済むことを基本コマンドのみで実現したんか? > ファイル削除期間:2021年12月14日 17時32分 〜 2021年12月16日 12時43分
なるほど
2週間丹念にダウソしたエロ動画ファイルフォルダを誤って削除したぐらいの
精神的ダメージか
大したことない 日本のトップクラスの大学がこのザマかよ
IT後進国の面目躍如ですな >>155
その時間帯に走った処理によってこれが消えたんだぞ
>消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル >>120
スパコンの場合だと膨大なノードか並列に走ってるでしょ
どれかが止まっても順に入れ替えて(物理含め)演算を継続するから、基本的に機能停止まで止めることはないかと 中国の台湾侵攻始める前に
邪魔な敵国を混乱させるのは常套手段 731部隊京都大学を潰してくれてありがとうHP
本当にありがとう >>12
そーいやレノボジャパンも合同会社だよな。
株によらない完全子会社だから当然か。 >>125
なんでケンモメンがこっちまで出張ってくるんだかねぇ
あいつらヒマなのか? 俺の5chの適当な書き込みにすら高圧系なレビュワーさんがあら探しレビューしてくるの草
やっぱ、ITはこうじゃないとね
「できたね、えらい!」のリスペクト重視の流れなんて虚構なんや > 過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作
で、ログディレクトリでなく
間違ってホンモンのデータが入ってるディレクトリ消したわけか
あるある
なんか消そうとしてたら
管理者権限で入ってることすら気づかずに
rm -rf /LARGE0
みたいなコマンドを寝ぼけてたら打ちそうになるしな >>46
無理して入ってこないで良いと思うんだが… >>169
寝ぼけてるときは結構ヤバい
昔ファイル名変更しようとおもって、「リ」ネー「ム」とつぶやきながら rm を実行したからなw >>171
細かくは思い出せないけど今だとどう手に入れるのかわからんお宝が多少あった。
忘れもしない東日本大震災の日、エンコかけて出勤、家に帰ると壊れてたっつー嘘みたいなホントの話。 ミスを素直に認めるのは株価とか影響ある企業なら隠蔽してたし偉い偉いw わざとだろ、バックアップの大容量ストレージだとしても複数HDDで構成してるはず ほんとにバグなのか?
意図して消したってことはないよな?
プログラムのバグでしたって言っとけば
大抵仕方ないわな・・・と顧客は思うだろうし。 >>182
new yearでお休みだから復旧が1月末になるのでは? なんかパソコンの先生ことケンモメがエロ画像連呼してて笑えんな… 年末バックアップを回したら、計算中のが飛んだぐらい? 馬鹿らしい話
さっさとPCデポ持ってって治してもらえよ RAIDミラーリングしてるのに、勝手に削除はねーな
ハッカーかウイルスに汚染 また低学歴のITドカタみたいなヤツがアホなこといってるわ
スクリプトも普通にソフトウェアだからな 外資系(笑)のせいかw
日本人が優秀なのがよくわかった データ復旧する会社いくつかあるけど金出しても復旧できないの?
そもそも金かけてまで復旧の必要ないデータとか? unixみたいなファイルシステムならちゃんとわかるヤツがやれば
inode復旧すれば結構簡単に復旧できそうだけどな >>199
自己レス
今は残留磁気での復元はできないのね。上書きだし。 スパコンで77TBって意外と少ないな。
うちでも36TBでバックアップも運用してる。 >>1
地球が滅びた後、ネットの情報は見つからないんだよな 大学のスパコンですらバックアップ保管してるのに国交省のデータが消えてるほうがおかしい マウントしてるストレージは1つとはどこにも書いてない
ディレクトリ1個消したとしか書いてない
77TBでフルとも書いてない
つまり総容量なんかどこにも書いてない
バカはすぐに想像でテキトーなこと書くからな。。。 >>108
ミラーリングはどっちもOUTになった時打つ手がなくなるからバックアップも結局とるようになるのが常w 動作中のスクリプトがある中でその構成ファイルを上書いちゃって起こった事故だとすると、そのスクリプトは最初から実行した際にはきちんと動くものなんだよな。
だとすると、
>ファイル削除期間:2021年12月14日 17時32分 〜 2021年12月16日 12時43分
その動作中のスクリプトは 2日弱動き続けてたってことか。
find するのにこんだけかかる程の大量のファイルがあったのかバックアップの過程で /LARGE0 のファイルのコピーが発生して時間食ってたのか分からんが、
とにかくファイルはいっぱいありそうだな。 >>88
うちはNだけと、似たようなもんだぞ。特に下請けのCとFが舐めまくってる。 >>206
それ出来るのrootの権限持ってる人だろうな
もし本当なら誰なのかは限られてくる 司法にも詳しいのにHPに舐められてる京大
訴えろよ >>208
80TBのを1個で済ませるってやり方もあるけど
クラッシュすると全部逝ってしまうって問題あるから
わざと小分けするってのをやる場合もあるよ >>210
今どきどのくらいの容量マウントしてるの? 試験しないわけないしウソだな。
何のデータを消したのかな。 年末なんで今年の分かな ログフォルダの場所は現地で確認しよ
とりあえず親フォルダでスクリプト書いとこ
後で直したらええわ
よしゃでけた
段取りええでワイ
あとは現地で実行
仕事はかどるでぇ >>212
バックアップなんか長いなー?とか変なとこ舐めてるなーで気づく職人はもういない?。 きっとfindで削除対象のファイルを抽出してたんだろ
記事にもログディレクトリ消すスクリプトのつもりがホンモンのデータ入ってるディレクトリ消したと書いてるしな つまり2021年12月14日 17時32分 から 2021年12月16日 12時43分のデータを
権限のあるHPの担当者が何らかの理由で消してしまっただけ >>222
>>60 こういうことらしいよ。
うっかりやることもあるかもなぁ といった感じ。 HPが京大に提出した障害報告書
https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf
3 ファイル消失が発生した原因
バックアップスクリプトには、findコマンドにより10日以上古いログ
ファイルを削除する処理が含まれています。スクリプトの機能改善と
合わせて、findコマンドの削除処理に渡す変数名を視認性・可読性を
高めるため変更いたしましたが、この修正したスクリプトのリリース
手順に考慮不足がありました。
bashは、シェルスクリプトの実行中に適時シェルスクリプトを読み
込みます。この挙動による副作用を認識できておらず、実行中の
スクリプトが存在している状態でスクリプトの上書きによりリリース
してしまったことで、途中から修正したシェルスクリプトの再読み込みが
発生し、結果的に未定義の変数を含むfindコマンドが実行されてしまいました。
この結果、本来のログディレクトリに保存されたファイルの削除を
する処理ではなく、/LARGE0のファイルを削除してしまいました。 900ギガくらいデータ入ってたHDDのパーティションがふっとんでtestdisk使ってなんとか復旧したな
古いパーティションの残骸が複数あって余分に時間がかかってしまった
それやった月は例年より2割くらい余分に電気代かかった HPでもそんな無能なミスするのか
やはり今の上位以外のPG,SEは能力落ちてるなあ 77TBのDドライブ秘蔵コレクションが喪失しただと これでなんか影響あんの?
どうせエロ動画でもつまってんでしょ 自分はPC使ってるけどバックアップとか全然取らないな
バックアップするほどの内容が無いとも言えるが >>88
スパコン運営がデータ消失に責任を負わない、と免責事項にあるのはどこもわりとそう
海外でも同じ >>229
今時 SE の肩書きなんて新人君の頃から持ってるんだぜw スクリプトとか一括で処理しようとするからこうなる
しかもPGなのに個人の判断でテストもしてない >>234
実際事故はあるから、自分でもバックアップしてねって言うのは半ば常識だわな。この当事者じゃなくとも。 >>232
24PBもあればエロ動画のひとつやふたつ 8テラのhdd10台くらい、
まあ大したことないわ >>147
bashの仕様のせいで全消し。俺もやりそうヽ(;▽;)ノ >>241
「損害賠償しろ」ではなく「損害賠償請求しろ」が正しい日本語。 /LARGE0 ←スクリプトで消した方
/LARGE1 ←バックアップ先(10/14グループ残ってた) テストせずにいきなり運用にぶち込んだんか!?
ヤベー会社だな 外資が絡んでるならジャップの最先端の技術力wwwという訳でも無いのか? 京大職員は未だに無駄な残業を好むアホばかりだから、また残業して手当もらえると喜んでるだけだよ 10Tぐらい2重バックアップしてる
ほとんどエロいモノと動画だけどW 24PBのバックアップで検索するとHPEの宣伝が詳しく出てくる しかしこれやらかした担当もそうだけど、客のデータ全部吹っ飛ばしたファーストサーバの担当はまだ生きてるのかな >>88
>>109
その文はHPの報告書に記載されているものではない。
京大のスパコン所管部局長が学内ユーザーに発信した
報告書に書かれている。
読解力ないやつだな。 ワイの家のNASですら
2台のHDDでミラーリング、
それをもう1台のHDDが週1で
バックアップしているというのに。 大容量SSDだからフラッシュファーストで一瞬で消えるよ これ研究に支障出るだろ、それにもし気象データや海洋データ、地震データのデータ消えたらとか考えると影響の裾野が広い
てか博論書いてるやつとか計算データ消失で阿鼻叫喚になったら気の毒すぎる >>242
そりゃあんたのエロ動画入りのHDDならなw データ戻ってこなかった4グループは正月明けに阿鼻叫喚 このスレは知ったかの似非SEが多いなw
どこのSE会社に勤めてるゴミだ?
シェルの中身は正しかったが実行中のスクリプトがあるのを見落としてたってのが根本原因だろ?
bashの仕様云々は後付け理由だがこの手のメンテって関連サービスやプロセスを落とすか動いてない時間帯にやるもんだろ
そこの取り回しだとかヒューマンエラーが根本原因だろ?
そんなことに目を向けずにシェルがどうだのバックアップ方式がどうだのfindやrmがどうだのってw、訳分からん低レベルの知識自慢に明け暮れる始末
そんなんだから年取っても現場のワーカーレベルの平なんだよ cron tab
# sudo
# rm -rf /LARGE0
??? >>262
タイトルだけ読んでみんな好き勝手にコメントしてるんだから仕方ねーだろ!! >>219
入れ替え時のミスだから開発担当がスクリプトをしっかりテストしたとしても防ぐのは困難かな
まさか動作中のスクリプトを止めもせずに入れ替えるなんて想像してなかったと思う こんな大事なスクリプトが個人の判断で実行出来るシステムのほうが問題だろ バックアップのバックアップはないの?
地理的に別のところに保存したりするけどな 大晦日に電源落として容量アップ作業しようとしたら、
使うから消すな言われてそのままマイグレーション
したことある。肝冷やした。 バックアップは外して耐火金庫に入れないと意味無いよ すぐ気づけばある程度のリカバリーできたのじゃね?
スパコン能力で2日で77T上書きになってたのかな? 麻生さんがフロッピーディスクに全て入るって以前言っていた これだけファイルが消えたら大騒ぎなのに国交省のデータを消してるほうが問題だよ >>137
ウンコリアンって常に乞食ネタを探してるのは習性なの? >>1
俺のAVコレクションに比べれば大した量じゃない。 >>59
防衛費何て特亜の意向を受けたウンコリアンパヨクの妨害が入りまくるから厳しそう >>17
rm -rf /home/backup/.. HPか
スパコンでも日本語カタコトの中国人と電話であーだこーだ言うのかな >>137
NHKはこの資料のほか、現存する部隊名簿や論文から技師の経歴を洗い出した。その結果、最も多くの研究者を出していたのは京都大学、次いで東京大学だったことが明らかになった。少なくとも10の大学や研究機関から、あわせて40人の研究者が731部隊に集められていた。 昔ネットゲームでCドライブ直下を全部消していく不具合あって炎上してたな >>36
そんなんで消えるシステム自体がおかしい。
核ボタンのスイッチ、間違えて押しちゃいました
みたいな。 HPE側で24PBのバックアップを京大側で別に取れとか言ってるがどれだけお金が掛かるんだ
同じシステムを2台購入するのか よくよく考えてみたら
統計改ざんして正確な数字追えなくなってる国にとってはこんな大学のデータなんか些末なことだけどな 全部消去する恐ろしい引数が、ものすごく単純かつ簡単なんだよな。
あれ、なんなんだろう。。 >>290
HPが提出した報告書にはそんなこと書かれていない $logdir = /large0/logdir/ ←新しく追加
〜
色々処理 ←この辺でスクリプト上書き
〜
$ find /$logdir -exec rm -rf {} \; ←逐次実行なので$logdir=null この世にひとつしかないデータなんて山ほどあるだろうな
やっぱり紙で残しておくのも必要だな RAIDを組んだら、壊れた方のHDDから壊れたセクタのデータを
壊れてないHDDにコピーしてデータが消滅した だからぁ、あまりにも無知が多いから
俺が説明してやるよ
たぶんこんな感じで組んでたんだろうね
rm -rf /LARGE0/変数*
で、変数部分にはfindで引っかけた不要なログファイル名が入るわけ
でも今回現場のミスでバックアップスクリプトが動いている状態でシェルを上書き編集してしまい、
動いているプロセスにとって未定義(空の状態)の変数が読み込まれてしまった
だから以下のようになってしまいディレクトリ配下のファイルを全部削除されるような処理になってしまった
rm -rf /LARGE/*
こんなとこだろう
シェルにミスはないし現場で立ち会ったはずの京大にも十分責任はあるよ ちゃんと読んでないやつばっかだな。
シェルスクリプトの再読み込みの挙動を理解してないやつの所業やで。 太陽の活動が活発化して、想定外の電磁波が地球に来ると、
HDDとかSSDの中身がパーになる、ということはあるのだろうか? 引数の入力だけで全データ消去できるって
おかしくね?
現場で引数を入力してるのは、派遣社員か
何かなんでしょ?
工作とかやりたい放題じゃん。 もうRAID自体にバックアップの仕様も組み込まないとダメだな バックアップ運用のなんたるかを学生自身が学ぶ良いチャンスだな >>297
責任については、HPが
この度のファイル消失は 100% 弊社の責であると考えており、補償につきましては、ユーザ様、並びに、貴学のご意向に沿うようにいたします。
と言ってるよ。 HDD2個のミラーリングとか恐怖やん
1個壊れたら残りのもう1個が命がけで新しい1台にコピー
3分の1でミラーなら残り2から1にコピーやからもう1台壊れて良い余裕がある だからバックアップスクリプトが動いている状態でシェルを上書き編集できるシステムが問題じゃね こうかな?
dir="logdir"
find "/LARGE0/${dir}" -name "*" -mtime +10 -exec rm -f {} \; ・入力データ
もともと外部から京大スパコンに転送したデータのはず。だからユーザのHDDとかどっかにある可能性が高い
・プログラムやソースコード
上に同じ
・出力データ
入力データあったら再計算すれば
ソースコードをスパコン上で書き換えたりとか人力な部分はやり直しなのと、出力データについてはもう一度計算すればよいものの時期的に卒論修論は時間との戦いになるのが痛いね
他のスパコン借りるとかすればなんとかなりそうだけど。HPは金だしてやれ マクロでポンポンたーん・・・やべ!
なんてまさかやってないよね >>1
リンク先からは
『日本ヒューレット・パッカード合同会社製』
の文字がないけど...
京都大学がHPに文句言われて消したの? >>3
は?
そもそも、森村誠一の『悪魔の飽食』ってトンデモ本というのが定説だろ?
共産党員だった森村誠一が、デマを流すために書いたって認めてるじゃん 死んだと同時にコレクションした動画画像全て消して欲しいわ >>280
FBIガチ動いてるで ここ数週
るろうに剣心やで >>299
あり得るよ。
キャリントンイベントでは普及し始めた電信網が帯電し、過剰電流が流れて火災が起きた。
2012年にキャリントンイベントに匹敵する太陽嵐が発生。あと1週間ずれてたら地球を直撃してたらしい。 >>315
世代管理するとストレージ増設するためにお前の税金が増える カネケチってHPの得体のしれない下請けにやらすからw >>280
最近は自分で溜めとかないとお気に入りが消されたり多いからな でも77Tなんてエロ動画で埋まっちゃうぐらいの容量なのでたいしたことないといえばたいしたことない
おれの長編ラノベのテキストファイルでもそれぐらいいいくかも 中国人留学生がセキュリティソフト購入なんちゃらでやってた件ですか? 知り合いに「女ヶ沢」(メガさわ)という人がいる。
その上を行く「ギガ沢」なんていないだろうか、
いるわけないじゃん、
なんて冗談を言い合っていた相手が、
寺沢くんだった >>328
お前は馬鹿だなぁ
>1 の本文と 元記事の際の話をしてるんだよ、マヌケ
>1 の文
2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました. >>319
1週間ログインなければrmするスクリプトをつくれば。。。 >>317
つか、あれは森村誠一の単独犯じゃなくて、
赤旗編集部がソ連のでっち上げやら偽資料を集めて森村に渡して書かせた
つまり、日本共産党の組織的犯行だよ >>267
テストといわれる中で結構欠落してるのが、
どんなスケジュールの中その作業・運用を行って、
どんな影響が出るかということなんだけど、
これが費用面等々で難しいのよね スクリプト公開してくれねーとよくわからんな
見てもわからないだろうけどもw >>1
俺が15年間溜め込んだエロ動画ですら22TBなのに しかしまあ
京大ともあろう連中が自分でデータ管理してないのかよ バックアップ1つだけなん
うちの子供の写真でも3か所にしているのに >>4
原因と結果が理解出来ない真正の馬鹿は、石の下から出て来ないようにな。 テープでコピーするだけなんて新人だった頃の俺のルーティーンワークだったぞ コアな省庁データはこんな下請け管理の鯖には入れてないと考えたい >>262
まあそうだよね
ただ逆に利用者がいない時間帯が限られていて、
結果そこしかないということがあるかもしれないね
それから作業者も時間が無限ではないからね
当然客側もそうだね、誰だってそうだね
ぶっちゃけそこいっちゃうとPMクラスのポカだよ
お前どういう人員管理と時間管理してんのって
だからみんな言わないんだと思うよ
そこ言っちゃうとプロジェクト体制そのものがおかしいことになるからさ 昔からHPのストレージはゴミ
まさかそんなもん採用してるとはな これ会社で起きたら阿鼻叫喚だな
担当者は自殺するかもしれんレベル。
ここまでの大惨事はなかなか起きないぞ。 HPってときどき致命的なことやらかすで
インクジェットプリンターが用紙巻き込んで即死したり
PCファンの音がバイクのエンジン音みたいだったりw
かなり原始的 毎月か毎週か知らんがテープで取ってあるバックアップまで戻ればいいだけじゃねーの
どんな管理してるのかしらねーけどよ 消失したのは院生含めて学生の研究データでしょ?
へっちゃらへっちゃら
卒論出来なかったら来年頑張れば良いんだし >>347
デカすぎて大学のIT部隊程度では無理なんだよ
人員も足りない、機材調達も大変、
大学側が一から作れば金ばっか掛かるんだ だから管理一元とか言って全部詰め込むクラウド化は怖いのさ >>238
だろうね。
今時の大手の社員は自分でコマンド打ったりしない。
確認やレビューはするようだが分かってやってるんだかどうだか。 4つの実験室のデータがふっとんだということか。えぐいのう。賠償請求は利くんだろうけど失った時間と研究成果は戻らんでな。(´・ω・`) find使ったrmあるある事故で笑えねーな
変数の中身くらいチェックしろやw >>322
それでデータ消失して税金捨ててるから呆れてんだろ >>366
変数がnullじゃないことくらいはチェックすべきだよね(´・ω・`) >>1
コロナ感染力の計算しか使用されてないんだろ?
無駄
消えても無問題 914ニューノーマルの名無しさん2021/12/29(水) 08:49:50.78ID:722pHjWs0
背景に軍か 中国人に逮捕状 サイバー攻撃めぐり
フジテレビ系(FNN)-20時間前
中国軍「61419部隊」軍人の妻、元留学生に指示か サイバー攻撃部隊
産経新聞-20時間前
病院にサイバー攻撃、新規患者受け入れ2か月停止
身代金払わず2億円で新システム 2021/11/26読売 削除するファイル名一覧を書き出して確認してから削除する様にしろよ
findで消すまでまとめてやろうと横着するからこうなる 不要ファイルを検索して削除するプログラムが誤作動して
検索結果がほぼディスク全体になり全部消し始めた
これじゃRAIDしてもそもそもファイル自体の削除コマンドだから守れないし
他にバックアップもないためオジャンってことか? 本番環境でこんな恐ろしいスクリプト実行する勇気ないわ Linuxのスクリプトで削除かよ。
その対象となる容量とか重大度とか
設定できないシステムだわな。
スパコンは停止しても良いが
データ消失は絶対に受け入れがたい事故だよ。
例えその中身がゴミでもな。貴重な実験データの
場合、金銭では計れない。 >>353
単純に世代管理すりゃいいだけじゃね?
責任者としてはPMになるが、人員とか時間をいくら管理したところでオペミスはなくせないから。
コストかけてフェイルセーフ作り込むのが筋かと。ハード障害でどうしようもないことも稀によくある。
現実的には1週間前くらいには戻れる程度に構築するもんでしょ。 >>377
報告書を読む限り、プログラムが誤作動はしていない。
オペレーション上のエラーだろう。 学位論文のデータやコードぶっ飛んだら自殺モノだと思うけど
補償とかどうなるのかね とりあえず間違ったら戻せる様にゴミ箱に移動するところから始めようぜ 消えたのは単なるバックアップで、メインデータは残ってるんだから問題ないだろ
そもそもバックアップからの復元なんか使わねーよ >>384
>不用意なプログラムの修正とその「適用手順に問題が」あったことで
精一杯濁してるねw
そもそもスパコンを外部の下請けが弄ってた事がまず驚きだね今回はありえない
うちだって現状外には任せてない これ中国がバックアップとってないかな
言うだけ言ってみればw どうせシステム関連の処理はみんなroot権限で動かしてるんだろうな。
バックアップ用プロセスはシステムやデータに対する読み取りとバックアップ領域への読み書きのみ可能な権限で動かさなきゃいかん。
システム面での根本原因と言ったらそのあたりの設計だろう。 77てらのエロ動画が消えたと思うと卒倒しそうだな… バックアップ機能が死んだか…
復活は一月末か。
一月末までに何が起こるか、おそらく誰もが同じ予感を抱いてる。 >>308
>dir="logdir"
>find "/LARGE0/${dir}" -name "*" -mtime +10 -exec rm -f {} \;
事故防止するとしたらこうかな?
find "/LARGE0/${dir:-tmp}" -name "*.log" -mtime +10 -exec rm -f {} \;
-exec を xargs にするかは意見の分かれるところ 77TBってスパコンのストレージって大したことないのな
俺のPCのストレージ全部合わせると40TBくらいあるぞ
まぁ何が入ってるかは口が裂けても言えんがなw 消すにしても一旦mvして一定期間過ぎてからパーミッション変更して更にrootで消さないようにするとか色々対策は考えられるな。 >>312が間抜けすぎて笑える
とにかく文句つけて叩こうとしたら>>344であっさり論破されてしまい赤っ恥逃走
>>317を見るに実にネトウヨらしい知性の欠如だ >>386
実行中のシェルスクリプトを書き換えて起きたんだろ。
ループの途中で条件が変わったとか、
削除対象かどうかの判断をするifの場所がずれてifすっ飛ばして中が実行されたとか
変数の中身を設定する部分が実行されずに評価部分から動作したとか 研究者個人のPCに重要なデータは保存されてるだろ復元出来ないのかな完全には消えて無いと思うけどな こんな簡単なスクリプトの修正なんて俺の手にかかれば一瞬さ!
タタタターン! >>98
計算機に任せて寝正月するはずが、できなくなったやろ! >>392
外部というか、この施設自体が共同利用施設だからな
京大本部キャンパスにあるけど、全国各地の大学や研究機関が遠隔利用してる >>147
> bash は、シェルスクリプトの実行中に適時スクリプトを読み込みます
いつか自分もやらかしてしまいそうw
最初に全部読み込むと思うし、実行中の処理に影響するとは思わんわ 77TBってそんなに大きくないよね
4TBで1万円くらいだから20万円くらいかね 過去に客先環境でteratermマクロのコピペミスって危うくデータ消しそうになった事あるけどその時ですらヤバイヤバイヤバイヤバイヤバイ!!!と思いつつ手が震えて全くコマンド打てなくなったからなぁ。この担当者の人ダイブしないといいけど。 当事者は胃が痛くて悶絶してるだろうなぁw
これ、国内のデータ焼失記録のワーストじゃね?? >>9
まあ根本原因次第だけど、バックアップ機能の設計レビューやバックアップのテストケース設定をキッチリ確認してないのも原因の一つかもしれないよ。 >>381
エリアスでrm -rf / を無効化しとくだけで
だいぶ安全になるよな。 >>36
エリアスでrm -rf /は無効化しとくのがええわな。
スクリプトで rm -rf {変数}/hoge.txtなんて
書いてると必ず事故るし。 >>1
ただのミラーリングだけでデータ保全してたって事?
三方向でも不十分言われるのにちょっと、ザルだったんじゃね? >>413
なるほどね、学内鯖みたいな使い方してんのね ミラーリングって間違って削除したデータに対しては無力だもんな
今時こんなことやっているところがあることに驚きだ >>430
いやミラーリングは復旧までのタイムロス軽減にはすごく有効だよ
生きていればの話だけど、今回両方死んじゃった事例だから無力に見えるけど
こんなことまず起こらないから・・・ ミラーだけでなく1世代分バックアップ。
それでも消したら今度は2世代分?あほか。
ミスした技術者は仕組みを理解してたの?大企業にありがちなローテーションのせいで、未熟な技術者が作業してミスしたのではないのか。
二重チェックや納品物のチェックはどうなってたの?リリース前の確認は?
根本的には体制の問題ではないのか。 スパコン解析77TBなら大したことないな
期間短いし重要部分は手元に落として報告纏めてるだろ
消えたのは仕掛り中かゴミといえばゴミなファイルだな 都合が悪い武漢肺炎のデータ(空気感染・第五波試算)を消したのだろう スパコンのストレージは保存用じゃないだろw
消えて本当に困った奴が居たら赤字で書いてある通り
反省しろって方が大事だw このスレ--no-preserve-rootも知らない自称エンジニアのオッサンばかりだな ほんともうIT後進国だな(´・ω・`)
つーか、普通復旧作業って大手企業なら大規模災害訓練とかで事前にリハーサルするでしょ
そんなことすらしてないのか・・・日本トップクラスの大学でも そういや最近awsも逝ってたよな
やっぱバックアップはオールドメディアに取っとくか >>63
何で消す前にバックアップ取らないかなぁwww rm -rf --no-preserve-root / 報告書読むと京都大学は関係無いじゃん
なんで京都大学のミスのせいになってるん? ファーストサーバのクラウドデータ全消失事件を彷彿とさせる事故だな。 >>63
ていうかこれつまりプログラムのテストは作成側でしてないってことだよね
アホだなあ・・・・ 仕掛け前にデータぶっ込んでぶん回したら都度手元へ保存だ
共同利用のスパコンだし当たり前 >>63
リリース時に止めるべきスクリプトを止めてなかったのが直接原因だね
ちゃんとリリース影響確認できてないのが問題 >>449
そうやってすぐえっちな方向に持っていこうとする 物理的バッククアップストレージなしかよ。
金をケチったせいじゃねえのか。 担当者
「こう言う場合正月出勤の手当付くんでしょうか? バックアップが消えて本物が残ってるなら、
本物からまたバックアップを作ればええやん。 >>444
テストだと上手く行くだろ
本番実行中にファイルを書き換えるところが問題。
書き換えるタイミングで挙動も変わるしね。 フェイルセーフが動くだろうと思ってコマンドぶち込んだら、
バックアップスクリプト自体ヘボプロが作っていたためフェイルセーフ機能がなく、
条件に合う親ディレクトリーのファイルを全て削除してしまった (-_-;)y-~
フェザーンの奴等め… ラインハルト ダミーデータぶっ込んだ
環境、ファイルシステムとか構成同じテスト環境でやるべきだだったな 最後の「一方で,」の件を読むと重要データはココへ置かない運用だと読み取れるね
コレまで通りのバックアップでいいのだろうけど
運用管理的にはダメなんだろうなぁ
再発防止は「演算用なのでバックアップしない」にしたら維持管理費も浮くと思うが >>60
いかにも書きそうなスクリプトなんだよな
怖いわぁ >>459
シュトライト「ハルト安心して、軍務尚書たっての命令でバックアップはバッチリっす」 >>449
済むと思うぞ
解析って言っても消えて衝撃走るような大層な物ばかりじゃない
最新XEONでも処理遅くて時間掛かるから利用するとかね >>232
あー、クレイの日本支部がやらかしたのか。
そういやヒューレット・パッカードに買収されてたな。 バックアップログだけ消すつもりが誤操作かプログラムミスでスパコン内の他のデータを消してしまって、そこに通常の定期バックアップ処理プログラムが動作して、スパコン内の消してしまったデータをバックアップファイルからも消してしまったんだろう(ミラーリング)
バックアップ処理は、バックアップ側のファイルを消す場合は、消すファイルを世代管理で別のディレクトリに保存しておく処理にしておけばよかったのに、1にも書いてあるが、なぜミラーリング処理をするんた?
バックアップファイル容量が大きいからだろうけど、馬鹿だな >>335
あれはかわいそうだったね
偽の資料つかまされて渡した人を信頼してたからウラを取らずにそのまま採用してしまった hpって人月単価高いくせに、成果物微妙な事多いよな
確かに仕様は満たしてるけど、もうちょっとスマートな方法あるだろとか お気の毒ですが冒険の書は消えてしまいました
こういう事ですか 被害額どのくらいになるんだろ
こういうの高額で時間貸ししてるんでしょ? >>1
ディレクトリを大容量ストレージとかファイルシステムとか呼ぶから新製品のSANストレージかと思ったぞ。 >>4
こいつスレ本文読んでないし読んでも内容理解できてないだろ >>468
うちの会社の鯖運用でもって話よ、悪かったね言葉足らずで わいのテスト
1*データが0個の時
2*データが1個の時
3*データがフルの時の上下限
これでok, >>462
でもどうせテスト環境で別のサービスだかプロセスだかは動かさないでテストするから
問題ナシ!!ってしちゃうからね 戊辰のいくさじゃああああああああ!
(-_-;)y-~
時代劇専門チャンネルNETライブ五稜郭始まった >>434
演算結果ならいいけどもなあ
諸元や入力データ喪失でアイドリングが続くと逆に高く付きかねない 昔、大学の共用マシンのunixのman以下を全部消してしまってちょっとした騒ぎになったけどバレなかったから怒られなかった
ユーザー権限でなんで消せたのか謎 >>333
修正前のスクリプトが稼働中だったのに、そのスクリプトを修正してしまった。
bash の場合、スクリプトを実行する際はファイルを全部メモリに
読み込んでから実行するのではなく、処理が終わるごとに1行ずつファイルから読み込む。
そのため、変更前のスクリプト実行中だったのに途中から変更後のスクリプトに置き換わってしまい、
想定外の動作(ファイル削除)となってしまった バックアップなのになんでファイル消してるだよ
やらなきゃいいじゃん およそ77世帯分のテレビ番組を録画したのが飛んだレベルってことかな >>477
サーバーとスパコンの違いが分からないのにドヤ語り… バックアップとるなら、その前にバックアップとらないと bashこえーわ
運用のbashボランティア的に作ってたけど次から断るわ 西浦みたいな大袈裟なオッサンを飼ってるからこんなことになる
もっと勉学にマジメな教授陣雇えよ WindowsVirtaの開発にも携わった高年収IT技術者だけど
これはたぶん
10 マワレ I = 1 カラ 100
20 ウツセ A ヲ B ニ
30 トジル
みたいなミスだな
なんらかのトラブルでBが消えた
バックアップなんだから
20行を「ウツセ」ではなく「マネシロ」と書かなければ ちゃんと印刷してパンチ穴開けて
FAXで送信したら綴じ紐でまとめて
ダンボールに入れて保管しとかなきゃ あらら
bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動によ
る副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きに
よりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、
結果的に未定義の変数を含む find コマンドが実行されてしまいました。この結果、本来のログ
ディレクトリに保存されたファイルの削除をする処理ではなく、/LARGE0 のファイルを削除し
てしまいました。 なんでこんな自作のバックアップスクリプト使うん?
もっと信頼性のあるサードパーティの使わんのか HPはそうなのか?サーバーの話だからHP関係ないけど。しかもクレイだし。 >>489
横で申し訳rないけど、スパコン、サーバー、パソコンの違いがわからない。
スパコンというのは大規模コンピュータのことで、パソコンというのは小規模コンピュータのこと、サーバーというのは使用目的による命名なのかな、と思ってるんだが? バックアップは自分で取れとかいちいち何テラものデータ転送してたらやってられないだろ
バックアップも保証するサービスにしろよ ログファイルをローテーションしようと思ったら無関係のデータ消しちゃいました(テヘペロ って話なので、どんなスクリプトでも起こりうる話
そこにバックアップが1世代だったという事情が絡んできただけ ファーストサーバの悪夢再び?
学術関係は紙で残している気もするが
論文まで行かない実験データや計算結果とかは駄目かな? 77TBって
スパコンレベルにしても
結構な容量飛んだな
膨大な時間かけて得られたデータも
飛んだんだろうか 業務用は知らんが個人の趣味レベルだと
GUIのツールで処理するよりシェルコマンドでやった方が劇的に処理速度が速いことが多い
俺がわかってないだけかもしれんが >>503
自分が使った中では、東芝の次に良かった。
HP、東芝、富士通、日立、DELL、ASUS、自作、寄せ集め中華の中ではだが。 ファーストサーバーの時もそうだけどリナックス系ってやたらと自作のスクリプトで済まそうとするよね
リスク考えたらそんなん使う気にならんわw データ量でかすぎてバックアップにどれだけ時間かかるんや やったのはHPなのね
ストレージサイズが大きいとテープバックアップは非現実的になるので、結局もう一台デカいサイズのストレージを用意して日毎にバックアップするしかないけど
結局どうやっても操作間違えで元ストレージもバックアップストレージも消す事は可能だからなぁ >>511
消失はファイルを選ばない。
コロナが国籍を問わないようなもの。 バックアップのスクリプト実行中に改修スクリプトを上書きしたのか
それで実行中のスクリプトのログ削除コマンドに未定義の変数が指定されて広範囲の対象を削除
これはプログラムじゃなく完全にリリースの問題だね
動いてるスクリプトを上書きとかすげえことするな >>9
そうだよ
そうだけど慎重な会社ならこの修正を当てるのも
まずテスト機に適用してしばらく様子を見るんだよ
メーカーの言いなりで言われたことを
自分の頭で考えずにやるから舐められる >>521
作業手順書って、どうなってたんだろうね バックアップとろうとして、誤って全部消しちゃいましたって、
やってることがド素人すぎて笑えるわ >>1
これHPはやっちまいましたテヘペロで済むの?
契約はどうなってるんだろう
あとこれ部外の演算に回してたならそのデータについての権利関係はどうなってるんだろう
それで損賠起こされたときのHPの責任負担ってどんなのなのかな >>1
ミラーリングがバックアップになると思ってたのか?www
バカにもほどがあるwww
ミラーリングは故障があっても稼働率を維持するためのものだよ
世代間バックアップは必ず取れや
バカ会社www(´・・ω` つ ) GATEWAY 、SONY、DELL、ASUS 、MOUSE のPCは買ったことあるけど
HPのPCは買ったことがないな > バックアップログファイルを削除する処理
ログファイルに拡張子とかないのかね
拡張子指定してfindしていればいくら何でもこんな広範囲に消すことないと思うんだが
それともrm -rf /HOGE/*とするところを rm -rf / HOGE/*みたいにブランク入れたとかか?
うちの会社のアホも同じミスしてmvしたことあるが 知らんけど、今時MTにバックアップとるとかはやらないの? カッコつけて変数とか使うからきうなるんだよ
この程度の事象も予測できないなら泥臭くてもいいから直書きしろ
できないならNetbackupとかNetvaultとかARCserveだののジョブ組むだけで使える商用製品使え!
いるよねぇ、ろくな教育や研修も受けずに大学で学んだにわか知識とググった知識で適当にシェル組んで本番環境の運用に本気で組み込んでるSE
とりあえず正常な環境と条件で動けば良いとしか考えていないのは明白だ
今回もその類いだろう
富士通だの東芝だのNECだの日立だののSE子会社の自称SEこと基盤SEにようおるわ
なに考えてるんだろう
アプリ担当や業務SEはちゃんとやってると思うよ
あくまでインフラやサーバーの基盤を担当しているゴミSEのことね
そうおまえらのこと スクリプト稼働中に置き換えるとかアホすぎるだろwww
新人レベルのミスだな >>87
>>105
安倍「いいこと思いついちゃった!w」 >>521
ファイル削除だから事が大きくなってるけど
他のリリースでも平気でこんなことやってたんだろうな
稼働中の処理への影響確認なんて基本中の基本だろ サーバーのバックアップをノートで取っておいて助かった >>540
手順書とか無かったのかね
まあ手順書を無視する馬鹿もいるんだが…… >>124
>>1
別に潰さなくてもいいけど
こんな凡ミスするクソ会社には怖くて頼めねえよ
ブラックリストに入れとくわ
www。。。〆(・ω・` )メモメモ バックアップ取ってれば安心って思ってるアホ多いけど
ランサムウェアって凄いよね
侵入されたPCのデータのみならずそのPCからアクセス可能な
LAN接続のハードディスクのファイルまで暗号化しちゃう
俺は自宅のWindowsサーバーに外部からポートフォワーディングで
入れるようにしててパスワードを設定してたけど
去年なぜか侵入されてしまい自宅内の機器のデータが
全部暗号化された
パスワードは英語大文字と小文字、数字記号を全て含む
P@ssw0rdにしてたんだけどこれだけセキュアな
パスワードを設定してたのに侵入された理由が
全くわからない
とりあえず今は外部からの通信は全部ブロックしてる >>546
アメリカではサーバー、ラゥターが普通だぞ?
つまり音としては最後を伸ばすのが普通 >>547
まともなエンジニアならドキュメント類の記載はJISに従うけどね 知らんけど、各ユーザにはどのようなバックアップ手段があるもんなん? >>548
マイクロソフトはJIS無視で全部伸ばしてるな。Windows界隈なら伸ばすんじゃないか。 HP本体の技術者は超一流なんだろうが、日本人が扱うのは無理なのかな?
世界と日本の技術格差が広がっているのかも知れない。 >>63
てか完全に素人じゃん
いきなりOJTかよw >>548
まともな・・・とやらがすでにあなたの会社や個人のローカルルールに
なっていると知った方がいいい
まともなエンジニアなら客に確認して客の要望に合わせる
客とバトルして論破する気? プログラムとか良く知らないけど
バックアッププログラムを実行して、不要なログデータを消させている最中に上書きアップデート掛けて、命令を混乱させてデータドライブの大事なデータ消しちゃったってことだよね?
例えるなら、Eドライブに入れた不要なサムネイル画像や一時キャッシュを消させてたのに、上書きアップデートで勝手に指定ドライブが変わって、Dドライブに入れたオリジナル画像データを消しちゃったって感じ?
LTOとかODAのメディアへバックアップするとか以前の話だよね? >>555
>客とバトルして論破
たしかに、そういうSEはいるw HPの保守は最悪。録な資料も提供せずにサードにやらせてるからな。 (-_-;)y-~
なつかしいな、中村雅俊の福沢諭吉。 >>552
HPは関係ないから許してあげて…
HPEは分からんけどこの前買収したクレイの組織そのままなら結構少ない人数だったような。 >>558>>559
責任だけHPが被る、と?
自社が損失を被るだけだから、そんな会社はないと思うんだが? 再計算の使用料はHP持ちかな
スパコン使用料、企業向けと大学向けでちがって企業向けだと高いとこもあるよね >>546
省略するのは年寄
全文検索すると
「サーバー」で検索 ○サーバー ×サーバ
「サーバ」で検索 ○サーバー ○サーバ
となってしまうため、マイクロソフトなどの外資系IT企業は「サーバー」に表記を統一する方向で進んでいる
MSが長音付けルール変更、「ドライバ」を「ドライバー」に
https://atmarkit.itmedia.co.jp/news/200807/25/microsoft.html
JISも「長音符号は、用いても略しても誤りではない」に改訂 (-_-;)y-~
大事なとこの予算をケチったらあかんな。 >>1
77TBなら、LTOテープで楽々バックアップできる これをちゃんと報道しないから問題が再発する。
CM出向料に目が眩むテレビマスコミは本当に報道機関なのか な
ジャップだろ
ケチくさいジャップ
バックアップを複数作れないでやんの バッファローダイレクトのアウトレットHDD大好きw >>523
メーカー推奨以外の方法を試してデータロスしたら自己責任で叩くだろ >>250
うちもほぼエロだけどwww
10TのNASをRAID5の2台体制
ときどきサブに手動バックアップしてる
火事や水没したら終わるがwww
クラウドは信用してないというか
費用が高いというか
(´・・ω` つ ) >>129
今回の件は、教育運用体制か、ヒューマンエラーを許容してしまうシステムの問題だろ。
あるとすれば要求分析で想定されていないリクエストを受け入れてしまった安全性、機密性の問題じゃねえのか?
ファイルシステムという枝葉のことじゃないだろ。
〇〇性を持ち出して相手を叩きたい嫌な攻撃性が見えるわ。 パージして空っぽにしてから削除オプション付きのrsyncでも実行したか 国内企業育てるためにもせめて国立大学は外資に頼むなよ
外資の方が信用できるという幻想は今回で打ち砕かれたわけで シンボリックリンクを消すつもりが実態の方を消しちゃったか >>563
そうなるだろうね
締め切りが決まってる物はどうしようもならない部分があるが
もっとも予約なんかパンパンに埋まってるだろうけど >>584
パソコンだとデータ復旧は簡単だけど、この場合は無理なのかね? バックアップが何のためにあるかわかる?
当然復旧はしたんだろ? >>10
武漢ウィルス、実験用生物製剤のワクチン
現在進行形の大量虐殺の事実は永久に消えないからな >>545
釣りだと思うけど、そのパスワードは第5位
>パスワードは英語大文字と小文字、数字記号を全て含む
>P@ssw0rdにしてたんだけどこれだけセキュアな
>パスワードを設定してたのに侵入された理由が
>全くわからない
ユーザー名とパスワードのランキングは以下のとおり。
【ユーザー名】
administrator
Administrator
【パスワード】
x
Zz
St@rt123
1
P@ssw0rd
bl4ck4ndwhite
admin
alex >>587
このケースとは全然違うけどランサムウェアは怖い
バックアップ含めてデーターを破壊(犯人しか解除
出来ない暗号化)する >>590
一応事実ではあるけど、このスレにわざわざ書いたのは釣りでした(w
当時はアホだったから自分で考えたP@ssw0rdって良くね?と思って
そのままにしてたけど、良く考えりゃみんなが思い付くパスワードだった
それからzaq12wsxにしてそれさえも「ありがち」だと知って今では
自分が好きだったアイドルの名前を英語大文字小文字記号数字にして
そこにもう1つ記号を追加してる
これは検索しても見つからないから一応安全なパスワードだと思ってる 俺はいつも言っていた筈だ
大切な物は予備が必要だと RAIDはサービス継続させるためのものであってバックアップにはならんと何回言えば理解できるのやら 何十億円の損失じゃない?
何年分のデータだろ?
これで研究リセットの分野もありそう >>66
うちはテープにとって、耐火金庫に入れてる。
実際に火事になったらどうなるかは試していない( ´∀`) >>564
理系大学は報告書・レポート記載時、語尾の「ー」(マイナスじゃないぞ)は省略するよう指導される 一回上書きしたくらいじゃ
プロの手に掛かればサルベージ出来るんじゃなかったのかよ >>593
まあ、それをパスワードにする考えはある意味普通。
成功率が高いから攻撃トップ5に入っている。
そのパスワードにして引っ掛かっている人が多いというのが現実。
パスワードではなくパスフレーズの方が強いらしい。
それに自分のサーバーなら鍵ファイルを置いておけばパスワードでのログインを拒否できる。
それとルータを透過できるポートを換えておく
まあ、それだけ頑張っても未知のバグが見つかって侵入されるとかあるからね。
おれは怖いから物理HDD2個を回して会社のバックアップを取るようにしている。
交互に接続させるから同時には壊れない。
それとは別なHDDにたまにコピーして火事などでの同時消失を避けている。
アナログな方法だけど安心。 >>437
全部消すオプションってどんなタイミングで使うんだ?
敵に追い詰められた時? >>608
人生に絶望と後悔しかなくて全てをリセットして
やり直したいと思ったとき
だけど人間にはそのコマンドがなくて困ってる >>262
前仕事でやってた時は、上書きはせず旧ファイルは移動させて、新ファイルを置いていた。
これで動作中でも影響なし ネトゲのPSOでも似たような事件過去にあったな
アップデートするとPSOデータが置かれてるディレクトリ内のフォルダがアルファベット順に削除された事件
ご丁寧に削除したファイルをゴミ箱に入れず直で消去するという神仕様 >>262
俺、一部しか上場できてない企業に勤めてて
恐らく俺ごときスキルじゃ貰っちゃいけない
くらいの給料貰ってるけど「そんなもん」だよ? >>608
もうダメぽ のタイミングだろうなあ。
(朝、玄関で母親が警察との応対にオロオロしてるのを聞いた時だっけ?) >>585
スパコンは演算が終わるまでやたらに止める物じゃないからね
計算用の巨大なデータ群や、計算結果をストアする領域だから結構難しいかと
物理シミュレーションだと部分欠損でもデータ損失となりうる
連続性を欠いてしまうと意味がない
ある時点のバックアップはあっても完結していなかった演算はそれまで
今回は本ちゃんストレージを削除してるからシビア
延々書き出されるデータで逐次上書きをするから復旧も無理だし >>612
まぁ、どっちにしろゴミ箱も容量あるわけで・・・
cドライブだとさらに >>613
それだよね
計算機は計算を間違えないけども、人は意図しない挙動もするしミスもする
HPEの技術屋さんも意図して削除したわけじゃないし
浅はかとかマが抜けてるとかは言われるかもしれないが仕方ない >>618
これSSDでねえの?
7.68Pバイト 77TBとか今だとそんな大したデータ量じゃないのが凄い つーかこのレベルのでかいデータでもアホが手順書き出して事前チェックせずに実行しちゃうもんなの 開発環境は別にあって、そこから実行形式と初期データ(必要なら)を持って来る
他にコピーがないのはスパコンの吐いた演算結果だけで、
スパコンが泣きながらもう一度計算してくれればそれで済む(費用は管理側負担)
ってわけではないの? システム構成
https://www.iimc.kyoto-u.ac.jp/ja/services/comp/supercomputer/
対策は1世代分の増分バックアップって言ってるから、ストレージ装置のDDN SFA14Kの機能で実装するのかな? スパコンのくそ高いストレージに安物のネットワークストレージ繋いで独自バックアップしけばよかったのに
なんでも任せっぱなしはだめだ >>628
スパコンの計算結果は普通ストレージに入れるだろ?
RAMのわけないから。
だいたいネットワークHDDと同じDBサーバだけど。
で、確かに元データから同時間演算すれば結果出るんだけど、
スパコン使ってもとにかく長い
レンダリング計算とか、多体形は1週間から1ヶ月ザラなんで。
んでまたこれが生データだから圧縮してないRAW状態だとミリ秒ごとの変化も残してたりする
医学生物化学系とか気象系とか。
そうすると医療診断のCT動画並みにとてつもなくデータサイズがでかいので保存するのに一つのサーバが必要になったりする。
回してる時間が2年の場合、修士は死ぬ 誰かが修論用に集めてたビックデータがお亡くなりになったと予想。
この時期は辛いのぅ。 >>632
オペミスではない。本番の状態を考慮した上で手順書が作成されてなかっただけ。 手順書間違ってた=バックアップ機能に不具合
この手の微妙すぎる言いかえ増えたよね
ファクトチェックと言ってるのも大したチェックせずにデマと決めつけてるおかしな記事が増えてる >>63
やらなくてもいいことをヒマだからやって、大した変更じゃないからテストせずにリリースしたってことかよ
正義感の強い人が逆に最悪の事態を引き起こすっていう良い例だな
The Guiltyって映画を思い出したわ >>634
そんな時間掛かるならもっと新しいスパコン間借りしてやらないとw
費用高いけど時間考えたらお得だし >>6
会社のUNIXを廃棄する時、
スーパーユーザー権限でrmコマンドを打ち込んだ。
核ミサイル発射ボタンみたいで、気分が良かった。 >>64
同じく4半期報告書(60ページくらい)は、新規保存だらけ
VER30位まで行った。データのVERは10くらい(毎週末保存みたいな)
FDD/MO/HD/CDへのバックアップも数回。
プリントアウトも数回。
会社のデータ部門のミスで吹っ飛んだときも、なんとかなった。
その後、自分持ちがアウトになったときも、プリントアウトから復元できた。
会社の言うとおりにした連中は、毎日徹夜。謝罪も言い訳も善後策の通知も何も無し。
(管理職の口頭通知だけで、メールも回覧板もない)
今は、ここへの長めの書き込み(ウェブメールも)はメモ帳を通してやっている。
時々飛ぶから。 >>1
どうせ、#にして、コマンドを打ち込んだんだろ。
悪魔の管理者権限 リリースミスだからね
しかし実行中のプログラムを上書きするなんて見たことも聞いたこともない
プログラムの中身を全く知らない顧客ですら実行していない時間にリリースしましょうと言ってくるレベルなのに ある程度のパスまでは固定値で切っておかないもんなのかな? >>634
修論、卒論が吹っ飛んで留年という話は時々聞く。
うちの子にバックアップをうるさく言ったが聞かなかった(運良く飛ばなかったけど)
親の忠告無視を予期していたので、高めだけど一番信頼性の高いPCを買ってやった。 そりゃあ日本なんだから当たり前だろう
データ管理なんて予算最低でサビ残や学生のタダ働き対応だからなぁ >>13
夜勤明けで妙にハイになって書き込んじゃったのかな >>1
案外馬鹿なんだな
クラウドに預けておけば100TBでも数百万円ですむのに
ちな100TBのバックアップ装置導入したらどんなに安くても数千万円はする
hpだったらシステム構築費用もあわせて1億くらいがめそうだがw すげー大容量だと思ったが、俺は6TB×5台のRAID10で使ってるけど、個人でもその位は用意できるんだから大したことないのか? >>652
業務用のは個人向けのを時間かけてテスト・改善してるから10倍以上の価格になる 研究データ飛んで今までの努力がパーになったら死にたくなるわw >>655
被害者は多数いるだろうな
こんな年の瀬に、カワイソス・・・ 俺も先週スーパーファミコンのドラクエ5のデータが消失した
中古で買ったからもう寿命なのかな… 京大って左翼の総本山やんけ
あいつら自分に甘くて他人に超攻撃的だからHPeめっちゃ可哀想だな >>657
冬休み中だから気が付いてない。
年が明けても用がないから研究室に行かない。
3月に契約終了の通知が来て、研究データはそのまま置いてくから、なにがあったかなかったか、もうどうでもいい。 >>79
findだぞ、-execで起動だろうからならないよ 普通は定期的にテープにバックアップしてるよね
RAIDだけじゃないよね >>91
修論卒論の時期だから人によっては計算結果がなくなって大ダメージ うちの会社のサーバーは随分前までロールバック出来るから
間抜けがディレクトリ削除とかやらかしても復元できるけど
そうなってなかったってこと? 俺でさえエロ動画1Tしかないのに
そんなにどんなデータもってたんだよ! ホントに必要なファイルはセンターやクラウドだけじゃなくて自分でもバックアップ持っておくもんだ >>110
bashと書かれているけどあんまり関係ないぞ
動いているプログラムが動的に読み込むファイルを入れ替えたって話だぞ >>651
バックアップて結局は冗長性とか保護機能とか一切ないシンプルなスペース(クラウドかオンプレかは問わず)を
複数箇所用意して何も考えずにコピーするのが一番いい気がする >>日本ヒューレット・パッカード合同会社製
はぁぁぁぁぁぁぁぁぁ?
HPの奴だったら電源管理に問題有ってアメリカでも問題起こしていた奴じゃないよな >>116
環境変数がセットされてない場合のユニットテストくらいしないとね HPが100パー面倒見るって言ってるんだから、本社かどっかのスパコン使わせてくれるかね? >>523
オペレーション実行したのもベンダーだろ 消しただけなら元に戻せるけど上書きしちゃったってのがなー
消した事に気がついて無かったって事だもんね >>116
多分バックアップディレクトリごと無くなったんだろうから、
テストしてればさすがにディレクトリがないって気づくんじゃね
リリース直前に変数名の変更だけだから問題ないだろうとおもって
サイレント修正したとかじゃないのかなー >>12
外資は今はみな合同
国内で資金調達しない
国内法人の監査役いらない
国内法人の外部監査いらない >>658
それ、中に入ってるボタン電池を交換すればOK牧場 >>131
すでに開かれているファイルディスクリプタに関しては
ファイルシステム上では上書きされても開かれた状態のファイルが読める
逆に言うと上書きされたファイルはファイルシステム上からは消えているけど
ディスク上には残っているのでファイル開きっぱなしのプロセスがいると
ディスク容量をどんどん圧迫していく >>683
100%って言ってるくらいだからサイレントくさいなあ 将来のノーベル賞何個か失ったな
もともと受賞は減る感じだったとはいえ バックアップバッチだけ書いてリカバリテストを一度もしない管理者の多いこと >>676
当たってるんじゃないか
昨日の夜に京都大学のほうからニーハオとか聞こえてきたのはこれだったのかもしれん 動画ならなんてことない量だけどテキストだったらおそろしい >>562
不安げな作業者来たら持ってる資料見てみ 001 | DIRPATH=foo/bar/log
002 | find /LARGE0/${DIRPATH} -type f -mtime +10 -exec rm {} \;
実装者:変数名わかりにくいからリファクタしたろ!
001+ | APPLOG_DIRPATH=foo/bar/log
002+ | find /LARGE0/${APPLOG_DIRPATH} -type f -mtime +10 -exec rm {} \;
リリース担当者:スクリプトだから実行中に上書きしたろ!
bash:実行中だから1行づつ評価したろ!
001 | DIRPATH=foo/bar
002+ | find /LARGE0/${APPLOG_DIRPATH} -type f -mtime +10 -exec rm {} \; >>647
親としての人となりがよくわかる。
お前は出来た人間だな。 8TのHDD10台分か
個人でもバックアップ出来るぐらいの容量くらいきちんとやっとけよ、情けない RAID5じゃないの?残るだろ?
JBODだったらワロス 一番怖いのはこのスレ見ててもちゃんと理解できてるのが1%ぐらいしかいない事だわ windowsでWSLじゃなくて普通にbashだけって使えるの? >>672
それ出来たらええけど問題はコストと運用の手間だろ
バックアップで要員の工数割きたくないで
ただでさえ人員不足なのに >>60
> bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動によ
俺だったかもしれねェ……!! >>580
ヒューマンエラーを許容してしまう
って逆でない?
フォールトトレランスって言葉から言うと ご迷惑で済むか?職員の集めたエロ動画が消えた可能性があるんやで? なんで大きさゼロのディレクトリにそんなにファイル入れられたの? どうでもいい企業のバックアップの失敗ならともかく
HPがこれやらかしてるところがクリティカルなんだけど >>1
HPの筐体買ってHPをガリガリ削られるとわ・・・ >>674
hp製のテープ装置はファームウェアに不具合あってバックアップ自体は正常に出来てるのにテープに書き込まれてるデータがバイナリレベルで破壊されてるっていう地獄みたいなトラブルあったらしいなw
半年くらい気付かなかったらしい
基幹DBのストレージ飛んでテープから戻そうとしたときやっと気付いて大騒ぎになったらしい
友人が復旧作業で軟禁されてて死んでたわ >>56
同意
俺が担当してるときは何だかんだでテープは維持する
しかし今の部署データミラーリングだけだとかで
昨日見たらそのミラーリングも2か月前で・・・
自分のバックアップだけ取って、そっとじしといたわw あのさ
”大学”なんだから自分達でプログラム構築して自分達で管理できねーの?
このご時世に何の勉強をしてるんだお前らは >>672
で数十PBのデータをバックアップしろと?
どんだけコスト掛けるのさ😛 >>720
大学のキャンパス自分たちで工事して自分たちで講義棟建築しないのと同じだろ ある程度書き込んだ後一旦切り離してro でマウントし直しがいいのかね。 >>710
俺がやらかしたんじゃないかって急に怖くなってきた
bashが>>60みたいな仕様だって知らなかったわ >>723
ワロタ
ドヤ顔で”大学”なんだからと書いているそいつは何の勉強をしてるのだろうねw 一晩で研究室全体をピンク色に塗り上げたあの技術力があれば復旧できる スパコンでHDDマイニングとかだったら傷は浅いのに あぁスクリプトは問題なかったけどオペレーション担当者がやっちまったというパターンか
もしかしたら今までも同じ手順書逸脱したやり方でやってたけど問題発生してなかったのかもしれないな >>711
大学側にあえて入れろと言われたんだろうw
普通謝罪文書にここまでは書かない >>732
んーどうだろ?書くんじゃないかな
ちょうど今、楽天の通信障害の動画を見てたんだけど、
楽天が発表した第一報では「auのローミング回線で問題発生」と書いてあったのが各方面で批判されたせいか
今の文面では「楽天側の問題です」と表現が変わっていて話題になってる 政府機関のサーバーのデータを民間企業が破壊したという感じか。
復元出来ないデータによっては日本が少し後退しそう。
磁気テープ等の切り離れる外部記憶装置にバックアップしてなかったのか。 これ実は手に負えないAIが発生してたんだろ
だからバックアップスクリプトに罠を仕込んで他のデータもろとも消去させるしかなかった
もうあと少しでAIに制圧されるところだったんじゃないか >>736
何人も指摘してるけどスパコンにあるようなデータはシュミレーション結果だから
もう一回バッチを走らせて寝て待てばいいだけ
時間のロスは仕方ないけど
貴重な実験や観測のデータが消えたわけではない よくわからんが京大の天才が何とかできないものなのかね マイナンの現実
DB構築を安易に考えたやつは誰か?
馬鹿安倍雲国斎か? >>471
共産党から渡された資料を鵜呑みにするのが悪いだろ。 >>738
なるほど。1年かかる計算なら演算性能がそのままなら結果1年遅れそう。
解決まで最新スペックのを数台無償提供とかするのだろうか。 バカだな
もっと安いバックアップソリューションあるのに ムーンショットのサバネティック人間も同じ運命を辿るぞww
あっ!やっちゃった〜wで数千万人単位で簡単に死ぬ >>745
以前NHKで特番があって、731にいた北大の教授が中国人に対する人体実験で取ったデータを使って論文を発表してるんだそうな
番組ではその論文の内容とともに、掲載誌やタイトルも紹介してた
んで、俺も読んでみたいと思って検索してみたんだけど、今はどうも北大の図書館に行かないと読めないみたいなんだよね
北海道の人は機会があれば読んでみてくれ >>738
ここhomeだよ
scratchじゃない
ソースのバックアップないと。。。 フロッピーディスク枚数で例えてくれないと規模がわからない そもそもなんでログ削除するシェルを起動するからユーザーを分けなかったのかってことだと思うよ
ちゃんとユーザーを分けて削除して良いファイルを権限管理しておけばこんなことにはならなかった バックアップはシェルスクリプトじゃなくて面倒でもC++とかでプログラム書いた方が挙動を完全に制御できて安全。
その工数だって全体から見れば微々たるものだし 削除直後ならサルベージできたのかもしれんが、後になって気づいたんだろうな。 >>752
研究用だろうしガチガチの運用は面倒なんだろ >>734
大学側が世間にこの報告書を公表すことを想定してたなら100%HPの問題の記載してもらった方が良いと見て指示したんだと思う
ベンダーは指示されないと絶対この表現しない >>752
セキュリティをちゃんと意識してる人がたまたまよい時期によいポジションにいなければこうなっちゃうんだろうね。
上から下まで「動けばいい」と思ってる人ばっかりだから。 外部からの攻撃よりも、組織内部の不正行為よりも、HW障害よりも怖いっちゅーのがこの手の話よな >>147
> bash は、シェルスクリプトの実行中に適時スクリプトを読み込みます
これはやっちまうな
勉強になったわ >>147
findの前に何故かtouchがあった🤭? >>749
なるほど、わざとデジタルアーカイブにしねーのか 孔子学院から来てる中国人留学生を研究室に入れるからだよ
京大はわきが甘過ぎ >>1
年間500億円以上のカネ掛けてるのにサーバの冗長化すらしない&誰も考えないってバカの集団過ぎる
消えても構わないゴミに何百億円も掛けてるんじゃないかと思われても仕方ないレベル >>767
富岳とかんちがいしてね?
4年間総額でも40億位だよ
電気代などは別だが たとえスパコンで稼働してもデータは
汎用フォーマットで色んなバックアップしろよw
なくなってもいいような
過去の学習記録とか
実行結果のログとかか?
実は要らないデータか? てか、バックアップは自己責任でって書いてるなw
そりゃそうだし、それなら
ニュースにするほどでもない気がするが。 >>668
スパコンって割とアドホックな運用してるのよ
独自のツールが蔓延してる世界
ストレージ製品付属のスナップショットとか使っていればこう言うことにはならないけど、それこそメンテナンス用の運用会社開発の独自スクリプトばかり >>750
まぁscratchにも大事なデータを大量に置くのか研究者の研究者たる証 >>767
消えて構わないゴミほどではないが再計算すれば同じ結果が得られると言う点で、冗長化機能は甘くなるんだよ
I/O性能が良くて大容量のストレージ製品が選ばれて、足りない部分は運用スクリプトでカバーの世界 >>755
恐らくサルベージは可能だが、サルベージするよりもごめんなさいお金払いますのが安いと判断したと思われる
で、これも想像だが損害賠償を訴える輩はほぼいない 企業の基幹システムとは運用思想は全く違うだろうとは思う。 別スレでこんなこと言ってるバカがいる。
186 ニューノーマルの名無しさん 2021/12/29(水) 17:18:14.80 ID:WLDbH9BB0
だから、主に事務の奴が使うサーバー
211 ニューノーマルの名無しさん 2021/12/29(水) 17:21:31.52 ID:WLDbH9BB0
多分だけど学籍とかシラバスとかあとは働いているやつの勤務状況とかしょうもない事務のファイル 聞いただけでハゲそう
こんな仕事2度とやりたくない >>783
見当違いも甚だしいが、ちょっと笑えないのは最近のスパコンは生き残りをかけて数値計算以外の用途を見越した拡張を続けていることかな
運用コンセプトがまるで違うのに、データセンターの集約によるコスト最適化とかやりそうで怖い >>1
富士通株式会社
スーパーコンピュータ-「富岳」の出荷を開始
.
当社は理化学研究所と共同で開発し文部科学省が2021年から2022年頃の共用開始を目指し推進している、スーパーコンピュータ「富岳」の出荷を12月2日より開始します。
https://pr.fujitsu.com/jp/news/2019/12/2.html
.
スーパーコンピューターって富岳とはまた別のやつ? それとも富士通の富岳の事?
.
で、消失ファイル容量:約77TB ←おいコラ 舐めとんのか
まさかの77TBビッグデータが消えたんかい >>1
消失ファイル容量:約77TB
.
しゃ〜ない俺たちネラーの出番や
俺たちネラーのPC内のエロ動画を提供したら77TBくらいすぐ容量イパーイになるやろ >>788
もちろんそうだけど、「金や時間さえかければ元通りにできる」なら、だいぶ印象違わないかい?
ガッツリバックアップしてあって、リストアに2日かかる
自分のパソコンからデータ持ってきて再計算するのに2日かかる
ならあまり変わらんだろ 無能な担当者に任せるなよ
どんだけ費用ケチったんだ 外資系が100%自責による過失って発表するの珍しい気が。 >>795
担当者がビビり倒して勢いに任せて書いちゃったのをそのまま載せた感があるな >>47
計算機シミュレーションだと結論だけ残せばいい場合もあるけど、
そうじゃなくて途中も残すとすごいサイズになりそうだ。 何年か前に HPとヒューレット・パッカード分社して別会社になってる bashとかいうゴミ使ってる時点であらゆる想定外の挙動はリスクとして織り込むべき >>796
読む人によって感じ方が違いそう
ストレージ関係者> まだ独自スクリプトでバックアップなんてしてんの?
高可用性システムのSIer> 普通バックアップサービス止めてからやるだろ!SLAとか大丈夫なんか?
低可用性システムのSIer> bashのこんな仕様知らんかったわー、あぶねー、これは仕方なし
スパコンのSIer> あーw やってもうたかwま、次は気をつけろよ >>801
スパコンの運用はSIerには分からないでしょ HPとHPEの違いもわからない。
クレイがHPE傘下になったことも知らない。
埋まった方のスレはそんなんばっかり。
前提条件を知らずにレスするなよと言いたい。 スパコンにだけこういう計算に使うデータが入ってたなら困ることになる
https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2018JE005579
このデータは復元したデータになる
アポロの乗組員が月の地表温度や地中温度を計測する機器を月に仕込んで
地球に発信させて採取したデータになる
データの特徴
@ 管理が杜撰でテープがボロボロになってデータもボロボロになってた データの復元が大変だった
A アポロの乗組員が計量する条件をちゃんと考えずに機器を設置したので(考えたらず)、ずっと温度があがる計量結果になってた
頭がいいやつは、データが消えようが、データがくさってようが
それをちゃんと最大限利用して結果をだす
わかった? 誤動作じゃ無くて正しく動作した結果だな
バックアッププログラムはプログラミングされた通りに動作したろ >>718
いまのテープドライブって入れ替えるだけで簡単にできるの?
だって300GB程度だろ?交換が面倒くさすぎる >>109
それは京大のデータセンターが学内に出したリリース。 これ、下手にこじれるとヒューレット・パッカードのエンタープライズ部門の日本総撤退の可能性すらある。
自社開発のサーバーの運用すら出来ないSEしかいないとなるとな。 >>809
今というかもうかなり昔からあるが、大規模システムのテープはチェンジャータイプのものだよ
テープを一度に大量にセットして、LVMの様に論理管理で大容量ストレージを実現する
システムから見る使い勝手はハードディスクとほぼ変わらない
カセットを一個一個セットしてバックアップするという運用ではないよ >>783
そんなもん開学以来のデータでも1テラ要らんやろ >>811
無いでしょ。去年買ったクレイを丸ごと切り離すくらい。 cpしてからrmするところをcpだけコメントアウトしたとか? >>793
それくらいしか善処の仕方もないからね。
あまり変わらんって所だけはNOだよ。
可能性の目減りは確定だし、
士気の低下も長期視点においては(積もることで)致命傷になる。
(当然、積もる様な慣習のある場合は致命傷も確定。) 77TBとか消すのも大変だと思うけどどうやって消すんだろ? スケジューラとかクーロンでキックしてサーバーで動かすときに
不具合で環境変数が読み込めなくなって誤作動が起きた、なんて話はよく聞くけど
プロが作るシェルスクリプトは普通は変数のチェックくらい入れるから
消す前にエラーで動かないように作る 俺なんて何を保存してたか覚えてない40GBの外付けHDDが
ご臨終になっただけでもショックなのに。 77 TB ってたいしたことないね昔だったらすごいけど今は8 TB が結構安いので10台あればこれを超える1万3000円ぐらいだから10台で13万だ
ただバックアップするのは容易じゃないぞ最低でもこのこれと同じ容量のものが別に存在しなきゃならないんだ 昔hpのサーバのSmartArrayで酷い目に遭った事がある
RAIDバッファが一杯になった時の処理にバグがあって、管理領域をデータで上書きしちゃってディスクに出鱈目のデータを書き込んでしまうというものだった find / -delete -mtime +10 -name \*.log /fill @p ~10 ~10 ~10 ~0 ~0 ~0 minecraft:tnt >>822
すでに書かれてるが7.68PB
1/4圧縮できれば24PBの容量 >>822
民生のHDDとサーバ用のHDDやらコントローラーを一緒くたにするのはNG
まあでもいくらハードが良くても今回みたいなのはね…… >>804
それEMCだと思うが
32,768時間運転でアホになってしまう bashがスクリプトを都度読むと言っても、そりゃ実行中のファイルから呼び出すファイルの話だろ 変数参照は""で囲んで空でもひとつの引数として解釈されるようにしとけって話だな
まあ"$@"みたいな罠もあるが >>833
いやスクリプトファイルの話。
実行中のスクリプトファイルを他のプロセスが書き換えることが可能なので、ある行までは変更前のスクリプトを実行してたのにそこから先は変更後の内容で継続実行、なんてことが起きてしまうらしい。 京大ちゃん達必死すぎてやべぇわwww
面白すぎて笑えるw
これくらいの事も対処できないんだね >>809
だから自動でカートリッジ入れ換えるチェンジャー装置使うのが普通
めちゃめちゃ高いけどな
どんなに安くても数千万円からするし保守費用も年間購入料金の2割はかかる >>833
適当にスリープ入れたら分かるよ
inodeが同じでも同じでなくとも実行されるからタチが悪い テープライブラリもしらないんか
そんなムダな機械構造使ってるとこなんかないわ
もともとカートリッジに必要なテープ全部入れてる バックアップ手順に、バックアップ作業中に気を付けること、やっちゃいけないことも列記されてるはずなんだけど、
守らなかったんじゃないのか。
HPが自社側の責任と認めているから、バックアップソフトの更新やったのは、HPなのかね。
>>718
HPやらかし多いのか。。。乗り換えたほうがいいんじゃないのかw キミラの書いてることすべてが信用できんから自分で確かめてみたわ
----
test.sh
----
#/bin/bash
while true
do
cp ./test_01.sh ./test.sh
cat ./test.sh
echo `date` "hello world"
done
----
test_01.sh
----
#/bin/bash
while true
do
cp ./test_02.sh ./test.sh
cat ./test.sh
echo `date` "goto hell"
done
----
test_02.sh
----
#/bin/bash
while true
do
cp ./test_01.sh ./test.sh
cat ./test.sh
echo `date` "goto heaven"
done 実行結果
[hoge~]$ ./test
#/bin/bash
while true
do
cp ./test_02.sh ./test.sh
cat ./test.sh
echo `date` "goto hell"
done
2021年 12月 30日 木曜日 04:20:28 JST hello world
#/bin/bash
while true
do
cp ./test_02.sh ./test.sh
cat ./test.sh
echo `date` "goto hell"
done
2021年 12月 30日 木曜日 04:20:28 JST hello world
(延々と同じエコーが続く)
ホント、キミラは口から出まかせでウソばっかりいうのな >>844
#!/bin/bash
になってないからただのコメント扱い。
bashで動いてないな
再テスト #!/bin/bash
実行結果
[hoge~]$ ./test
while true
do
cp ./test_02.sh ./test.sh
cat ./test.sh
echo `date` "goto hell"
done
2021年 12月 30日 木曜日 04:57:17 JST hello world
#!/bin/bash
while true
do
cp ./test_02.sh ./test.sh
cat ./test.sh
echo `date` "goto hell"
done
2021年 12月 30日 木曜日 04:57:17 JST hello world
シバンをちゃんと書いて
再テストしても結果は同じ
そもそもログインシェルがbashだからな 前にHPC系の会社で大学の人はバックアップ取らない人が多い的な話を聞いた こんな障害があると
この障害の類似が
無いか確認しろといわれると
面倒くさいな。
rm 変数
の様なコードで
変数がnullじゃないチェック入れてから実行しないといけなくなるのか? 京大自身が運用してるって思ってる輩多いんだな、
世間知らずだな、 >>855
スクリプトの開始時にスクリプト自体をファイルロックする。
二重起動の防止にもなる。 >>262
保守リリースを手動でやるってのがないわな
バッチジョブにリリースジョブを作っておいて、その枠組みの中でやる >>847
スパコンのクレイは一昨年買収だから、買収時に元クレイのデキるエンジニアは外に出てったんだろな。
今のHPEは、人材流出しまくりでマトモなのがほとんど残ってない。20余年前から従業員を大切にしない経営陣が舵取って、払うサラリーケチケチしてきたからな。至極当然の結果。 俺も良くやるバックアップの最中のやらかし、会社の仕事のデーターは4ヵ所にバックアップ取ってある スパコンの保守がこの程度ってのが新鮮な驚き
それともこのメーカーだけがおかしいのかな >>864
社会はこういうもんでしょ
最先端の製品になるほど担当者の感性でメンテしてたりする
逆に864が想像してるようなガチガチにマニュアルが決まっているやつは、市販品を寄せ集めて構築したシステムだからや >>859
アメリカではserverだから。
書き言葉と読み言葉は違う。 >>864
おまえにバックアップ任せたら必ず同じミスをやらかす。 理学系の学会は伸ばすんだよね
工学系の学会は伸ばさない
規格とか決めてるのは工学系の人が主体だから
どちらが正しいかといえば伸ばさない方やろな fgetcでたまたまバッファしてたところから、辻褄合うように同じinodeのファイル書き換えたってこと? スパコンに計算させるためのデータが消えただけかな?
重要な計算結果は各ユーザーが独自保管してるだろうし、意外と大した被害じゃないかも IT音痴はバックアップ取らないし、バックアップは馬鹿でもできる作業だと思っている。 HPEに仕事頼むと、管理名目で部長級の人工を計上してくるからな
しかもやたら単価高いの
でも実際の仕事で、その部長を見かける事はないという トーシロが書いたシェルスクリプトでバックアップログの削除してるってのが異常
しかも同じストレージにバックアップも現在のデータも入ってるっぽいし
それバックアップの意味なくない?
バックアップは別のサーバーにある専用のシステムを使って
削除は一定期間経たないと出来ない設定するのが普通 >>875
HPCってハイパフォーマンスコンピューティングの略だぜ >>849
センスがない
やり直し
#!/bin/ bash
sleep(30)
echo “hello”
を実行して別のターミナルから文字列変えてみたら分かる 削除期間…
12月3日
〜
12月14日〜12月16日
に更新がなかったファイル
14−3=11
16−3=13
!!!!
○・11
○・13
の法則じゃん!
(ごじつけ) >>849
大体同じ事をWSL2のUbuntu上でやったが、こっちでは書き換え後の内容が実行されたぞ。
cpの挙動が違って同じinodeに上書きしてないとかかもな。
ところで実行時の ./test に.shがついてないけどそれで動くの? fopenのwの挙動じゃね
OSやファイルシステムによっても扱い変わりそう 77TBのエロ画像と動画が消失は年の瀬に切ないな… スクリプトなんて実行中にロックされないだろどんなOSでも処理系でも CentOS 7で実行してる
実行結果は一切かわらない
inode番号も一切かわらないことは確認済だからな やばすぎ。京大アホすぎだろ?w
基本中の基本だろうがw
今の京大の院生や研究者は間が抜けているのか?w >>891
まだバックアップにテープカートリッジ使っているの?
昔は使っていたけど今も使っているとはね。 コミュニティ商用OSと称したくせに、商用ソフトにサポートされてない羊頭狗肉 日本ってこういうPC関係に世界から比べて滅茶苦茶弱いよな
世界中からアタックされたり色んな不具合出たり、訳分からん >>896
Cシェルか何かか?
もう忘れたけど懐かしいなぁ。
京大ってUnixなのか? >>897
iPhoneを革新だと言えば騙されて普及するぐらい日本人はみなIT音痴だからな。 >>896
go to hell
が出てるということは変更後の内容が実行されてる。
…ってごめんごめん最初から同じ事言ってたわけか。
記事とかで出てる振舞いのとおりだと検証されてるってわけね。 ちがう
echo で hello world が表示されてる
つまり実行されてるスクリプトはかわってない
goto hell が表示されてるのは
cat でファイルの内容が置き換わったことが観察できる
つまりファイルの内容が置き換わっても
実行されてるスクリプトはかわらない >>902 >>903
ん。そのとおり。重ねてごめん。
このgotohellはcatの出力で、本命はその後のhello worldか。
bashがどれくらいスクリプトを先読みするかバッファの設定とか? ググると幾つも情報はあるから、実行中書き換えが起きる環境があることは間違いないんだが。
起きない環境か設定もあるってことかな。
ttps://qiita.com/kitsuyui/items/d0048eeaa50293a92a60 >>901
規模は違うけど一緒だよ
そもそも、日本はハードはいいもの作ってるけどプログラム系は世界から100周は遅れてる
だから、不具合連発してみたりデータが簡単に消失したりするのさ
同じ人間が作るものでこうまでボロボロなのも珍しい、自前で何も出来てないしね ちょっと古いbashだとスクリプト内容をバッファに入れてそれを元に実行するから、小さいスクリプトは実行開始時の内容のまま実行される。
2017.05時点の最新版では、ディスク上のスクリプトファイルが変更されるとその内容に追随して適切な行から実行再開する。
…ってことらしい。
下記のA7によると。
ttps://askubuntu.com/questions/484111/can-i-modify-a-bash-script-sh-file-while-it-is-running [hoge ~]$ bash --version
GNU bash, バージョン 4.2.46(2)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2011 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
気が向いたら5.x入れてみるわ >>174
UNIXのコマンドって危ないのが多いからな。
renとrmとか、hostnameでホスト名確認してしようとしてタイプミスでホスト名変えちゃったとか、crontab -eしようとして隣のr打っちゃったとか、運用やってるとよく聞く話。 [hoge ~]$ bash --version
GNU bash, バージョン 5.1.0(1)-release (x86_64-pc-linux-gnu)
Copyright (C) 2020 Free Software Foundation, Inc.
ライセンス GPLv3+: GNU GPL バージョン 3 またはそれ以降 <http://gnu.org/licenses/gpl.html>
This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
やってみたがぜんぜんかわらんわ
https://dotup.org/uploda/dotup.org2684292.log やはりインタープリタでずっと字句解析と構文解析やりなおしてるとか
とても思えない 既に今回の実行中の上書きを再現検証している人がいるね
vim で上書き 再現せず
cp で上書き 再現した
tar で上書き 再現せず
Linux の dash(/bin/sh)、zsh では再現
FreeBSD の sh/bash ではバッファリングの関係で 512 バイト目以降が読めた
UNIX System-V だと再現する
bash はスクリプト実行時に一括読み込みを行っておらず、逐次でファイルを読み込んでいる為、同じ i-node のファイルを続きから読み込む。既に開かれたファイルディスクリプタは i-node が異なる場合は古いファイルから読み続けられる為、再現しない。
これらは bash がうんぬんというよりも、ファイルシステムを I/O する際にそれがアトミックであるかどうか、というだけの話。同じ様な事をしているのであれば、どのシェルや言語処理系でも起きうる。
この問題を回避しつつスクリプトを入れ替えるのであれば、スクリプトが停止している事を確認するか、 mv を使うか、rm & cp を使うか、install コマンドを使うか
bash スクリプトの実行中上書き動作について
https://zenn.dev/mattn/articles/5af86b61004bdc >>919
俺が使ってるマイクロSDカードの容量が1TBだから俺的にもたいした事無い 77TBなんてスパコンにとってはあっという間の計算結果データ作成量なんじゃ… >>919
屁だと思って肛門を開放したら実が出ちゃったくらいなもん >>923
わかんないよ
スパコンで750万年かけて計算した答えが「42」だって事もあるかも知れない ん?
機能の不具合じゃなくてオペレーションミスだじゃないのか? ああそうか。
情報としては知ってても原典読んではいない人が大半なんだな。
失敗した。 システム構築をベンダー任せにしてBCP対策を怠った京大の責任でしょ。
だからHPが「100%うちの責任」って言う必要ないでしょ。
京大の情報システム担当のレベルもたかが知れてるとわかったわ。 >>1
中国系の会社?経営者は何人? 日本ヒューレット・パッカード合同会社 別に京大やHPを擁護する気はないがスパコンの話でバックアップとかBCPとか言ってる奴はちょっとずれてるぞ
Lustreは普通/homeとかのwork領域に使うもんでフルバックアップを取ったりはしない
>>1の最後でもユーザが自分でバックアップ取れって書いてあるだろ これ、ノーベル賞級の研究データが消失してたらどうすんの?
京大といえば、日本最高峰の大学なのに >>944
つまり7の段の計算を間違えたって事だな レス数が900を超えています。1000を超えると表示できなくなるよ。