７７TBとか何が消し飛んだの

そういやこんなのあったな…

>７７TBとか何が消し飛んだの
電子カルテ

過去の話か
3年分ならともかく1月くらいなら大した事ない

企業が弊社100％の責任によりって明文化しちゃうほどとなるともうよっぽどなんだろうな…

報告だとこう書かれてる

バックアップが存在しないことで復旧できないファイルは,容量約28TByte,約2500万ファイルでした.
この値には復旧不要であるファイルも含まれるため,復元できないファイルの実質的な状況は,容量約8TByte,約350万ファイルです.

文章なのに土下座してるのが伝わってくる…

定期実行されてるスクリプトの実行中に内容書き換えたら誤動作しちゃった奴か

そうさ100％弊社

削除スクリプトの改修を行ったんだけど実行タイミングとファイル差し替えタイミングがバッティングして変な状態で実行されて死亡

しかも外資系のHPがこう書くのは相当だろうな…

もう謝るしかないさ

なかなか見ない文言でごめんなさいしてるのは相当怒られたんだろうな…

>そうさ100％弊社
もうどうしようもないさ

何が消えたのか知らんけどほんとにえらいこっちゃなやらかししたんだろうなという気持ちがある
愛一郎くん夜眠れてるかな…

がっかりして めそめそして
どうしたんだい
研究に使う
データはどこだい whoa-whoa

やっちまったぜ☆

これ以外にこういう文書で弊社100%の責任て明記してるの見たことねえ

補償のしようあるのこれ

公式文章で100%責任って言葉使うのかよ
弊社の全面的なミスによりとかの文章だろ普通

>そうさ100％弊社
>もう謝るしかないさ

忍たまの歌詞みたいだとおもったら案の定だった

まあでも謝罪はこうあるべき
正当性のない言い訳を無駄に書いてる謝罪もどきが多過ぎる

バックアップのない4グループは何が違ったんだろうな

愛一郎…お前と謝りたかった…

ミスはデカくなくちゃつまらないだろ？

>公式文章で100%責任って言葉使うのかよ
>弊社の全面的なミスによりとかの文章だろ普通
定量的に書いたんだろうきっと

キーを叩いて送信しよう(heyhey！)

まあ実際は送信じゃなくてキー叩いて削除したんだけどな

>ミスはデカくなくちゃつまらないだろ？
SE居る意味あんのかよってくらいつまらないのが正解なんだよ…！

12月28日っていう年内の営業日ギリギリまで対応してた感が趣深い

プログラムを走らせたまま上書きしちゃったもんだから想定外の変数処理が起きて消しちゃったやつ
バックアップともう使わない不要なデータ除いた実質損害は8TBだったので致命傷で済んだ

削除処理は超めちゃくちゃ慎重かつ丁寧にやろうねっていう教訓

その会社中の記録かき消しながら

>定期実行されてるスクリプトの実行中に内容書き換えたら誤動作しちゃった奴か
？？？
なんでそんな事したの…？

不要なデータ多すぎ！

>削除処理は超めちゃくちゃ慎重かつ丁寧にやろうねっていう教訓
更新も怖くない…？

>定期実行されてるスクリプトの実行中に内容書き換えたら誤動作しちゃった奴か
怖っ

>？？？
>なんでそんな事したの…？
弊社１００％の責任で…

本件は,当該システムの納入業者である日本ヒューレット・パッカード合同会社が開発,保守しているバックアッププログラムを同社の担当技術者がアップデートする作業において手順に考慮不足があり,想定外の動作となったことでファイルの消失が発生しました.影響を受けた利用者の方よりお問い合わせいただいたことで発覚し,問題の削除処理を停止いたしました.バックアッププログラムの動作不良に伴うファイル消失のみで,外部への流出などそれ以外の問題は発生していません.

やらかした瞬間を想像するだけで吐き気がするぜ

流石にここまでのクラスだと読んでて胃が痛い気分にさえならない
どこ転職すっかなあってワクワクしてくる

そうさ100%弊社もう逃げ出すしかないさ
責任者の今の所在を永遠に探さないでね

スパコンってあんまり止まるイメージないや
利用停止してメンテの時間が取り難かったとか？

>？？？
>なんでそんな事したの…？
本来の想定だとスクリプトファイル置き換えるだけだから
運用中にやっても問題ないはずだった
スクリプトの仕様として実行中に内容書き換わるとそこから新しい内容を参照して走り続ける（勿論想定してない動作を引き起こす）ことを見落としていた
たまたま置換え中に対象のスクリプトが定期実行で走っていて大惨事になった

bashスクリプトだとして実行時に都度都度ファイル読み込むものなんだっけ

消えてるんですけど 何がですか？ 全部
からの嫌な汗が吹き出して頭が一瞬凍って一気に動き出してどんどん汗が止まらなくなる過程を想像してクラクラしてきた

その後の契約とかごめんね金とかどうなったんだろうか

謝罪文なのにお願いしてどうする

>なんでそんな事したの…？
現代の一般的なコンピュータつまりPCは実行時メモリに読み込んでメモリ上にあるもんを読んで実行する
この機械はファイルにあるもんを直接読んで実行してたので
ファイル上書きしたら上書きした途中からそのまま実行した

バックアップ周りいじるのは本当に嫌だ
客が勝手に復旧作業し始めてるのはもっと嫌だ

>現代の一般的なコンピュータつまりPCは実行時メモリに読み込んでメモリ上にあるもんを読んで実行する
>この機械はファイルにあるもんを直接読んで実行してたので
>ファイル上書きしたら上書きした途中からそのまま実行した
>>なんでそんな事したの…？

>消えてるんですけど 何がですか？ 全部
>からの嫌な汗が吹き出して頭が一瞬凍って一気に動き出してどんどん汗が止まらなくなる過程を想像してクラクラしてきた
いやいやいやまさかねって五回くらい見直してやっぱりどう見ても消えてていやいやいやまさかねって見直したんだろうな

こういうのって遠隔地にバックアップとか取って合ってある程度の期間の巻き戻りだけで済んだんだよね？
…とは言えなそうな内容なんだけど

ウェブアーカイブにpdf残ってたけどへーってなった
https://web.archive.org/web/20211230235124/https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf

前にこの話題になったときに現役SE「」が
ここまでやばいとこういう表情と態度になる
fu3606226.jpg
ってマエケンのこれ貼ってて笑った

謝りたい気持ちが伝わる

>こういうのって遠隔地にバックアップとか取って合ってある程度の期間の巻き戻りだけで済んだんだよね？
>…とは言えなそうな内容なんだけど
直接的に復旧できないデータのうちスーパーコンピュータによる再計算で復元できるものについては,計算資源の補填などを検討しています.
今回のファイル消失において影響を受けた利用者の方は68名(うち学外利用者21名)でした.バックアップによる復元不可であったグループの利用者数は10名(うち学外者4名)でした.利用者には本学外の方(学生,教員,研究者)も含まれます.システムをご利用いただいている利用者の総数は約1600名です.

>fu3606226.jpg
絶望感襲ってくるのは翌日ぐらいからなんだよね実際
やらかした当日はそうでもない

>前にこの話題になったときに現役SE「」が
>ここまでやばいとこういう表情と態度になる
>fu3606226.jpg
>ってマエケンのこれ貼ってて笑った
俺の先輩が４億のマシン壊した時こういう顔になってたな
翌日から３ヶ月ぐらいずっと暗かった

なんかこれ以上スレ読んでたら眠りが悪くなりそうだからじゃあの…

なにが起こったのか
なにが悪かったのか
どう対応してどう補償するのか
全部書いてあるので文句のつけようがない謝罪文だな・・・

DFTの入力ファイルごと飛んでたらしばらく寝込むかもしれん

>>７７TBとか何が消し飛んだの
>電子カルテ
オオオ
イイイ

なぁにカルテなんてまた診断すれば良いのさ

正常バイアスってすごいね

俺にはなんか大事件ってことしか分からないが
同業者の人は自分が同じことやったらと考えると夜寝れなくなるタイプの出来事なんだなという雰囲気は伝わってくる

これで消し飛んだのはデータだけど
なんかどっかの研究所で冷蔵庫が壊れて
数十年かけて保存・研究してた細菌だかなんかが全部だめになったってのも見たな

開幕土下座しないと相手がキレて裁判沙汰に確実になるから
とりあえず全力の土下座して相手の出鼻を挫く

ただ弊社が悪い！ただ弊社が悪い！

>なんかどっかの研究所で冷蔵庫が壊れて
掃除の人がコンセント抜いた

約一月更新されなかったファイルが全部消えるとか
自分のPCで起こっても頭おかしくなると思う

>俺にはなんか大事件ってことしか分からないが
>同業者の人は自分が同じことやったらと考えると夜寝れなくなるタイプの出来事なんだなという雰囲気は伝わってくる
やらかしの規模がでかいのもそうなんだけど
ミスの要因が熟練エンジニアでもギリギリ見逃しそうなラインなのが怖い奴

ミスったからって即他社に乗り換えが出来る分野では無さそうだから100%謝罪出来るのかなって邪推しちゃう

たまに他社の事故を周知報告されるけどその時は笑うけどね

ちゃんと謝れて偉い！

>俺の先輩が４億のマシン壊した時こういう顔になってたな
>翌日から３ヶ月ぐらいずっと暗かった
4億壊して3ヶ月くらい顔するだけで済むなら相当な大物だな

>たまに他社の事故を周知報告されるけどその時は笑うけどね
自社だったら？

大事な電子機器のコンセントだけ抜くやつのことを右ストレートしたい

どこのサーバーなら飛ばしていいってこともないけど
よりによって京大のサーバーだからな…

>ミスったからって即他社に乗り換えが出来る分野では無さそうだから100%謝罪出来るのかなって邪推しちゃう
今後滅茶苦茶な要件だされるかもしれないけどそれでも全力で謝らなくちゃならないって感じだと思うよ

責任者一晩で5kgくらい痩せそう
ストレスと汗で

どういうデータがどういう感じで失われたのかちょっとよくわからないんけど第一線の研究者の時間と記録が飛んじゃったみたいな感じ？

ここまで言うって一体どんなミスしたんだよ…

責任ったって責任取れないだろこんなん
取り返しつかねえよ

>ここまで言うって一体どんなミスしたんだよ…
京大のバックアップのない77TBのデータふっとばしたんだろ

>責任ったって責任取れないだろこんなん
>取り返しつかねえよ
お金で…なんとかなりませんかね

>この度のファイル消失は100% 弊社の責であると考えており、補償につきましては、ユーザ様、並びに、貴学のご意向に沿うようにいたします。

ここまでの無条件降伏って帝国の降伏以外で初めて見た

復元不能なデータもかなりあるけど大半のデータはバックアップはあるよ！

どう補償のしようがあるんだろ
担当者縛り上げてこいつ殺していいんでって差し出すぐらいしかなくない

>京大のバックアップのない77TBのデータふっとばしたんだろ
これ京大の人が困るんじゃないの？

すげえ金額で仕事受けてそれのせいで過去の貴重なデータ吹っ飛ばしてるんだ
こんなの土下座するしかない

>担当者縛り上げてこいつ実験に使っていいんで

>すげえ金額で仕事受けてそれのせいで過去の貴重なデータ吹っ飛ばしてるんだ
>こんなの土下座するしかない
過去っていうか事件発覚の直近のデータ

それで許してもらえたんですか？

調べてもその後の話は何も出てこないんだな

京大側が無言なのが怖い

許すとか許さないとかじゃない

>どう補償のしようがあるんだろ
>担当者縛り上げてこいつ殺していいんでって差し出すぐらいしかなくない
https://www.iimc.kyoto-u.ac.jp/en/whatsnew/information/detail/211228056999.html
基本スパコンの計算結果保持しておくストレージなんで再計算する際の諸経費の負担とかやるらしい

まあストレージの安定性なんて100%信じちゃいけないから各自ローカルバックアップは取っておくべきだったとは思う
TB単位だとちょっとしんどいな…

デロイトトーマツがやらかした時に連鎖的に思い出した奴

仕事柄これとか江崎グリコの件はもし自分がやっちゃったらって思考になっちゃう…
俺はつらい耐えられない

別にデータの保存力と個人情報保護力に期待してないけどどう謝罪できるかは重要

自分がこれをやらかしてこの文章書いてるのを想像するだけで胃が痛くなってくる

なんだかんだファーストサーバーよりヤバいことやってるやつ居るな…ってなる

歳取るに従って馬鹿でーと笑い飛ばせなくなってくる

>自分がこれをやらかしてこの文章書いてるのを想像するだけで胃が痛くなってくる
何なら本当にやらかしたやつはまともな精神状態じゃないから代理が書くかもしれない…

HPがただ俺が悪いって平謝りするのは相当だけど担当者は今ごろ笑顔でいれてるのかな

胃が締め付けられる文章だな

相手が京大なのもあって
ワンチャン誤魔化せる可能性も無い

研究者からすると計算資源の補填よりも時間的コストのが切実そう
生データどれくらい活かすもんなのか知らないけど取り直しの時間が余りにも無駄すぎる…

>歳取るに従って馬鹿でーと笑い飛ばせなくなってくる
業務上のミスはいくら潰してもミミズのように這い出してくるし致命傷を与えてくるからな…
長年勤めてるとこんなことあるわけ無いでしょみたいな事象が他人事じゃなくなってくる

>どう補償のしようがあるんだろ
>担当者縛り上げてこいつ殺していいんでって差し出すぐらいしかなくない
ここまで全面的に土下座されたら相手方ももう怒れないしもうやれるだけのことをやってくれとしか言えないと思う

>まあストレージの安定性なんて100%信じちゃいけないから各自ローカルバックアップは取っておくべきだったとは思う
>TB単位だとちょっとしんどいな…
いまならともかく当時基準のTBはそんな気軽に確保できるもんでないし
そもそも話そういうの任せるためにスレ画に依頼したわけで…

でも5、60発ぐらい殴りたいと思う

誰かがミスってファイルが吹き飛ぶのはシステムの方もちょっと脆弱だな
バットでぶん殴って破壊でもしたのか？

不要ファイル削除処理実行中にプログラム更新したから
前半は古いプログラム後半は新しいプログラムみたいな処理になって
結果的に削除してはいけないファイルまで削除することになった

>でも5、60発ぐらい殴りたいと思う
気持ちはそうだけど憔悴しきった担当者の顔とか見たら俺殴れるかな・・・って思っちゃう

データ消された研究者はそれ以上に憔悴してるだろうからイーブン

実際に実験データ削除なんてされたら相手の顔見たくもないし補償分決めてとっとと払えぐらいしか言えなさそう

まだ起きたのが年明けて1か月後とかじゃなくてよかったのかもしれない

バックアップ不能な4ファイル分は手打ちで入れていくしかないのか…

俺の卒論が真っ白になってるのももしかして…！？

>俺の卒論が真っ白になってるのももしかして…！？
時期的に本当にこういう学生いてもおかしくない事態と思うと怖えなあ！

電カル無くなるのやば〜…
医者に取っての金券なんだぞレセプトは

>bashスクリプトだとして実行時に都度都度ファイル読み込むものなんだっけ
そう
実行した位置までだけが読み込まれてる

>>bashスクリプトだとして実行時に都度都度ファイル読み込むものなんだっけ
>そう
>実行した位置までだけが読み込まれてる
普通に考えるとファイルはオープンしっぱなしなんだよね？
だとしたら新旧スクリプトをmvで差し替えれば問題なかったのだろうか…

>>俺の卒論が真っ白になってるのももしかして…！？
>時期的に本当にこういう学生いてもおかしくない事態と思うと怖えなあ！
大学病院の電カルは研究資料でもあるので
学会発表がパーになった医者もいるのかもしれない

>普通に考えるとファイルはオープンしっぱなしなんだよね？
>だとしたら新旧スクリプトをmvで差し替えれば問題なかったのだろうか…
いや報告書からすると行単位でopen read closeを繰り返してるかもしれん

>普通に考えるとファイルはオープンしっぱなしなんだよね？
そうだと思う
linuxは開いているファイルも書き換えられるし
>だとしたら新旧スクリプトをmvで差し替えれば問題なかったのだろうか…
試したら古い内容が実行されたからmvだと問題起きなかったはず

これやらかした当事者の気持ち想像するだけできつい

もう終わりやし寿司でも取る？

懐かしい
これを教材に当時の新人にインタプリンタ言語とはどういうものなのかってのを説明したわ

>不要ファイル削除処理実行中にプログラム更新したから
>前半は古いプログラム後半は新しいプログラムみたいな処理になって
>結果的に削除してはいけないファイルまで削除することになった
確か削除対象のパスが書かれた変数が変わっちゃったからルートから消しちゃったんだっけ？
想像するだけで恐ろしい

弊社がやっちゃった過ち
永遠に忘れないでね

そう言えば今度のシステムって1分間隔で動くバッチをリリースするんだった
運用開始後のリリース手順ちゃんと検討しておく必要があるな…気づかせてもらったわ

Lファイルが消えたか

>時期的に本当にこういう学生いてもおかしくない事態と思うと怖えなあ！
卒論程度なら可哀想だけど…で済むけど博論とかだったらゲロ吐きそう

うちの技術のトップが正直誰でも起こす可能性のあるミスなので防ぎようがないと言ってた

学術系リポジトリの鯖かと思ってたけど違ったのか

>気持ちはそうだけど憔悴しきった担当者の顔とか見たら俺殴れるかな・・・って思っちゃう
でも消されたファイルを見て憔悴しきっちゃう客も出てくるんじゃないかこれ

100％というところに引っ張られてるな…

>うちの技術のトップが正直誰でも起こす可能性のあるミスなので防ぎようがないと言ってた
スクリプト走ってる間上書きできなくすりゃええんでねえの？