あるAnonymous Coward 曰く、KDDIのau携帯電話で、一部ezweb.ne.jpドメインのEメールが利用できないトラブルが12日に発生した。KDDIの発表によると、障害が発生したのは12日18:26で、13日15:55に復旧したとのこと。栃木県小山市の設備拠点で火災報知器が作動、その影響とされている。「現在火災などが発生している状況はありません」とあるが、朝日新聞では「機器が燃える火災が起き、メールサーバーを含めた施設内の機器が自動停止した」「出火元は社外の人が入れない場所」とも報じられている
空調停止→温度上昇→停止 らしい (スコア:3)
DCだと、水で消火するわけにいかないので
火災検知→窒息消火(ハロンガス？)作動→空調停止→機器温度上昇→サーバ停止→障害発生
という流れだった、みたいなことをどこかで見た。
Re:空調停止→温度上昇→停止 らしい (スコア:1)
http://k-tai.impress.co.jp/docs/news/20150713_711403.html [impress.co.jp]
待機系と本番系を極力リスク分散するってのが、一番大事ですね。
火災原因は分かりませんが、またオゾン層が破壊されたという事実だけは間違い無さそうです。
Re:空調停止→温度上昇→停止 らしい (スコア:1)
排煙のために火災を検知したら空調を止めることが多いですが、データセンタの場合、
空調が強力なので、ガスでの消火や酸素の供給を止めるためにも、空調を止めざるを得ません。
ガス消火もかなり強力なので、放出時の振動でストレージがやられることがあります。
無事だったとしても、空調が止まるとものすごく暑くなるので、サーバは、運がよければ
シャットダウン、悪ければ熱暴走します。サーバの消費電力と同じくらいの電力を空調で
くってるので、空調停止は致命的です。
なので、火災を検知した時点で、火災に規模によらず、そのセンタは大規模障害確定なんですよ。
同一センタ内で、本番系と待機系のロケーションを分ける意味はあまりないです。
センタの障害を想定するなら、異なるセンタにサーバを立ててください。
古いセンタだと、実際に火災が発生していなくても、火災の誤検知で同様の障害が
発生する可能性があります。年1回運用訓練できる電源系とちがって、火災の運用訓練は
机上でしかできないから、この手の障害の影響って、知らない人多いんですよ。
Re: (スコア:0)
火災シミュレーション関連のイベントに行くと、従来の建築設計屋か研究者ばかりだったんだが、
最近コンピュータ屋さんを見かけるのはそのせいか。
Re: (スコア:0)
非常時の運営がちゃんとできてるとこなら、バックアップ拠点や縮退モードへの移行やらは自動的に実行されるはずなんだけどなぁ。
爆発事故や意図的なテロにやられたとかならともかく、ボヤや小規模火災程度で丸一日も停止したんじゃインフラとしては失格レベル。
Re:空調停止→温度上昇→停止 らしい (スコア:3, 参考になる)
#2847371で貼られたニュース記事 [impress.co.jp]によれば、
予備系統が発火して停止→消火設備作動・空調停止→温度上昇で同じ室内にあった本系統が停止、と言う流れのようです。
…遠隔地に設置どころか同一地域内分散ですら無く、同一施設の同一室内ってどうなってるんだよ！
施設単位で起きる電源障害や空調障害や回線障害には耐えられない。天災では間違いなく死ぬ。
インフラの一種なのにシステム単独の障害にしか対応できない体制ってよくそれでやってこれたな…
Re:空調停止→温度上昇→停止 らしい (スコア:2)
災害とか火事よりも機械の故障のほうがはるかに発生確率が高いので、稼動系の横に待機系を置くのは普通の構成ですよね。
ミッションクリティカルなシステムは、そこから更に遠隔地にDR系を置く感じですよね。
Re:空調停止→温度上昇→停止 らしい (スコア:1)
リアルタイムに同期かけてるとRTTが性能に直結するからねえ。
フロア冗長という折衷案もあるけど火事だと微妙か。
小山？ (スコア:0)
TELEHOUSE Oyama
http://www.datacentermap.com/japan/oyama/telehouse-oyama.html [datacentermap.com]
https://plus.google.com/110198607045789084243/about?gl=jp&hl=ja [google.com]
にだけezwebのDCがあったの？
ほかのTELEHOUSEにふれなかったのかな？
Re: (スコア:0)
ezwebはIMAPなので、ユーザのメールがあるストレージが落ちたら難しいのではないでしょうか。
さすがにミラーとかしてないだろうし。
キャリアメールの存在意義 (スコア:0)
まったく気付かなかった。
Re:キャリアメールの存在意義 (スコア:1)
そして社会的な影響はどんだけあったんすかね。
周りのauな人たちも困ってなかったのか話題にもしてなかった。
Re:キャリアメールの存在意義 (スコア:1)
うちは会社専用ドメインあるので影響おおありでした
結局遅延で届かずに今朝方にエラーメールが帰ってきて全部消滅
Re: (スコア:0)
デーモンにはたった1日の障害で配送をあきらめないで5日くらいがんばってほしい
Re: (スコア:0)
送信したこと忘れた5日も経ってから送信できませんでしたとか返してくるとかやだよ。
送信失敗の理由くらいせめて1日か2日で知りたい。
Re:キャリアメールの存在意義 (スコア:3)
湾岸戦争とかソ連崩壊前夜くらいの電子メールはそんな感じで、郵便と同じような時間と信頼性の感覚だったと察されるような古文書というのがありますよね…
# 問題は今でも当時のプロトコルやデーモンが使われてること
Re:キャリアメールの存在意義 (スコア:2, 参考になる)
UUCPは「ポーリングが半日おき一日おきでメールが半日遅れる」とかは当たり前でしたよ。
私も個人運用ドメインのメールは電話料金が安くなる早朝・夕方・深夜の3回しか発呼させなかったもの。
UUCPサイトにさらにUUCPでぶら下がっているサイトだとさらに遅れるとも聞く。
それでも郵便よりは早かった。
だからこそ即時配送できるOCNエコノミー専用線は夢のような環境だった…
あの時の感動は今でもありありと思い出される
Re: (スコア:0)
1990年ならもう少し早いと思うけど？
Re: (スコア:0)
隣の研究室にメールを送ったら、米国経由で1週間かかった。
という話を20年ほど前に聞きました。
もちろん、日本国内の話です。
Re: (スコア:0)
そう。テレホーダイからOCNエコノミーに移行して時間を気にせずいつでもネットを使えるようになったのはとてもありがたかった。しかし、当時は少ない給料の1割以上も通信回線に使ってたんだなぁ。今思うと異常だ。
Re: (スコア:0)
1995年前後だっと思います、安かろう悪かろうのプロバイダのメールで、半年くらい前のメールの送信失敗がまとまって返って来たことがありました。大事な連絡はハンドシェークが必要だなとか言ってましたね。まだまだのんびりした頃でした。
Re: (スコア:0)
配送出来てませんが、まだ頑張ってます。
みたいなメールが戻ってくれば、がんばっても良いかな。
Re:キャリアメールの存在意義 (スコア:2)
そんなメールが来たらなんか応援したくなりますねｗ
Re:キャリアメールの存在意義 (スコア:3, 参考になる)
sendmailのデフォルト設定だと以下のような「配送出来てませんが、まだ頑張ってます」ってメールがが来るようになってるはず。
(訳: 送信開始から4時間経ったけどまだ配達できてません。まだまだ5日目までは頑張ります)
Re: (スコア:0)
やべぇ、その機能知らなかった。
誰か、そのメールの生成部分に怪しげな疑似人格組み込んでくれんもんかな。
# xxx の宛先だけ無視しても良いですか？とか聞いてくれると助かるんだが。
…どこかから、適当にそれらしいの拾ってきて作ってみるか。
Re:キャリアメールの存在意義 (スコア:4, 参考になる)
で、5日後までダメなら「やっぱダメでしたーー!」って通知も来るはず。
実装の根拠としてはRFC5321に「4～5日くらいはがんばれ」って書いてあるから。
Re:キャリアメールの存在意義 (スコア:1)
サーバー監視のメールを携帯に飛ばしているので、
業務に支障が出ました。
監視スタッフが、同じキャリアを使ってなくて良かったです。
そんな所でも、冗長化しないといけないのかと、その点では
教訓になったと言えるかな。
Re:キャリアメールの存在意義 (スコア:2)
>監視スタッフが、同じキャリアを使ってなくて良かったです。
>そんな所でも、冗長化しないといけないのかと、その点では
>教訓になったと言えるかな。
それはわりと重要そうですね。
gmailとgoogleに頼りきりな自分の環境が怖くなってきた。
以前トラブルでスマホが使えなくなって、代わりの機種を用立てて使おうとしたのですが。
最初にGoogleのアカウントを登録しようとしたら、二段階認証にしてたので携帯のSMSが使えないとどうにもならなくて焦ったことがあったっけ。
docomoのサービスカウンターで「googleでの認証を二段階認証にしてるので、先にSMSで受信できないと認証ができない」という説明をしたんだけど、説明の仕方が悪いのか二段階認証そのものを知らないようで全く話が通じず・・・
結局googleアカウント設定しなくても今のスマホは利用できるとのことで事なきを得ました。
docomoでも二段階認証を始めてるはずだけど、カウンターに居る人達はそれも知らなかったしで、大丈夫かと思ったのは要らぬお節介。
Re:キャリアメールの存在意義 (スコア:1)
NTT西関係の中の人なんですが、そういえばカスタマ系の修理担当は
業務用端末にau端末を所持してますね。
本来なら業務用端末はドコモ端末なんですが、
ドコモ基地局の障害時の対応が必要な場合がある
(基地局自体はドコモが対応するけれども回線側の障害時に携帯が使えない時がある)
ってことであえてauを用意してるとか。
キャリアの冗長化も必要ですよね。
Re: (スコア:0)
> サーバー監視のメールを携帯に飛ばしているので、業務に支障が出ました。
SMS でやろう! Twilio とか使って。
Re: (スコア:0)
とある社会人サークルを運営していますが、auな人たち大困りでした。
メーリングリストだと、不達の際に誰が届いていないのかわからず、ちょっとした混乱がおきました。
高校生・大学生もメールは多用するみたいで、困っている子は多かったですね。
Re:キャリアメールの存在意義 (スコア:1)
あらそうなんだ、そのへんの若い人たちっててっきりみんなもうLINEとやらでやってるのかと思ってた。
MLってもう仕事先でしか使ってないなぁ・・・
Re:キャリアメールの存在意義 (スコア:1)
社会人サークルって書いてますから、社会人だと Line を使いたくない人も
少なからず居るようなので、ML使ってるんでしょうね。
自分もMLは仕事でしか使ってないですね
Re: (スコア:0)
自分が知る限り高校生はLINEですね。もしかしてなりすまし高校生？
Re:キャリアメールの存在意義 (スコア:1)
社会人サークル運営のACです。
LINEはもちろんもっともメジャーなツールですが、少しフォーマルだったり、知人以上友達未満だとメールっぽいですね。
社会人サークルに飛び込んでくるような高校生だとやっぱそこらへん使い分けるみたいです。
#LINE教えて下さい！とか言われるとちょっと嬉しいAC
Re: (スコア:0)
あなたが知る限りの高校生と、それ以外の高校生ではどちらが多いのか判断できないけど。
あなたが知らない高校生ならなりすまし高校生かもしれないという認識の仕方は面白いね。
Re: (スコア:0)
今日実施したら、受信側機器のトラブルで全く進まず・・・orz。
＃設定のようだが、受信機器の設定まではこっちの担当じゃ無いのに・・・
ああ、だからｗ (スコア:0)
昨日は
「1000万円当たりました」とか、
「久しぶり、アドレス変わりました （名前も前のアドレスも書いてない)」
みたいな迷惑メールが来なかったのかｗｗ
#フィルタや指定ドメイン受信は設定してるが、AU携帯からか、それに偽装して送ってくるから役にたちゃしない
おまえはクビだ！じゃあおまえもファイアだ！ (スコア:0)
というクビ切られ社員の報復ではないよね？ロボコップの字幕版で知りました、クビはfireなのかー。
Re: (スコア:0)
私はBackToTheFutureで知ったクチ
Re: (スコア:0)
fireされた次は、求人への application を頑張らないとですね。
「約1日にわたって」 (スコア:0)
どこを渡ってるのか
Re:「約1日にわたって」 (スコア:1)
ネタなのかよくわからんのでマジレスしときますが、
Re: (スコア:0)
実際にはまだ遅延してるし、メールは消えてるし…
一日どころじゃない