NTTドコモ、14日17時頃からネットワーク障害。2時間以上にわたり全国に影響 42
ストーリー by nagazou
障害 部門より
障害 部門より
NTTドコモの提供する音声通話とデータ通信サービスで、10月14日の17時ごろから障害が発生していた。障害は午後7時57分ごろまで発生。その時間から復旧したものの、通話や通信が集中したことから完全復旧には時間を要した模様。このため同社リリースでは順次回復していったと表記している。今回の障害による影響は全国規模となっており、SNSでも「電話が掛けられない」「ずっと圏外」などの声が相次いでいた。原因に関して同社は「ネットワーク工事の切り戻しに伴う信号量増大によるネットワーク輻輳」であるとしている。ITmediaの記事では、事故から復旧まで2時間以上を要しているため、電気通信事業法で定める「重大な事故」に該当する可能性もあると指摘している（ドコモリリース、日テレNEWS24、ケータイ Watch 、ITmedia）。
原因はIoT機器 (スコア:5, 参考になる)
原因となったネットワーク工事というのが多分これ↓
サービス・ソリューションのお知らせ : docomo IoT回線管理プラットフォームがご利用しづらい事象について [nttdocomo.co.jp]
明け方からメンテしてたのに完了せず計画時間超過、昼過ぎにメンテ失敗と判断しシステムを切り戻すも一斉に在圏登録が殺到し輻輳発生、夕方にIoT回線以外にも影響が波及という流れと想像。
# そもそもメンテ成功時はどのようにメンテ解放する想定だったのだろう？
制御信号(C-Plane)の輻輳という点ではスマートフォン黎明期の2012～2013年にdocomoやauで発生した障害と似ている。
https://www.nttdocomo.co.jp/info/notice/page/120126.html [nttdocomo.co.jp]
https://www.kddi.com/corporate/news_release/2013/0610a/pdf/sanko.pdf [kddi.com]
この時は地域ごとに置かれたMMEの障害に留まっていたものの、今回は全国規模で発生していたのでPCRFが死亡していたものと思われ。
ドコモネットワーク接続ガイドライン (IoT機器編) [nttdocomo.co.jp][PDF]
当時の反省から今回のようなことを想定していなかったわけじゃないけど、ちょっと想定が甘かった感じですかね。
Re:原因はIoT機器 (スコア:1)
みずほ銀行のトラブル（は最早年中行事か）、JRの変電所の火災ももしかしたら適切な運用が成されていなかった、若しくは力不足で想定出来なかった‥？とか考えちゃいます
Re: (スコア:0)
コロナ禍で現場作業員減＆リモートワークで作業の質が落ちているとか？
東京五輪が終わって＆緊急事態宣言解除で気が緩んでいるとか？
JR変電所とドコモだけじゃ、ただの偶然レベルですね。
Re:原因はIoT機器 (スコア:3, 興味深い)
私の周囲の話だけですが、現場の技術者を束ねてたマネージャ職が年齢制限やコストカット、
家庭の事情(介護や育児)や労働意欲の低下(ある程度収入のアテがあって働く必要が無くなった)などで
続々と退職してしまっていて、現場の技術者と経営者がほぼダイレクトに話をする環境になってしまい、
コミュニケーション不全で現場が回らない、という事例が多いです。
まだまだ偶然で片付けられるレベルではありますが、そのうちこういうのがあちこちで起こってくるでしょう。
Re: (スコア:0)
現場の技術者と経営者がほぼダイレクトに話をする環境になってしまい、
前職でコンサルが「会社の組織階層を廃して、マネージャーと担当だけにしろ」と吠えていたことを回想しています。
Re:原因はIoT機器 (スコア:1)
今のうちがそうだな。
全事業部をマージして業務内容ごとにグルーピングした上で、部とか課の枠をなくてして
各プロジェクトへ社内人材派遣をやっているような感じ。
横並びのための連絡網をぶっ壊しておきながら代替手段を用意する気がないみたいで、
構造改革の目的の一つに技術の属人化を防ぐというのがあったのに担当者にしか技術が蓄えられない
という末期的な状況。
複数のプロジェクトに属している人を介して細々と他プロジェクトのノウハウ（落とし穴の情報とか）が
やりとりされている。
Re: (スコア:0)
情報を集めて整理体系化する予算が消えちゃってますし元々評価低いし…
一子相伝すらされなくなったという。
Re: (スコア:0)
10年以上の中堅は経験があるからまだいいんだけど、2,3年の若手は情報が入ってこなくて可哀相。
以前は業務中の雑談や課内会議なんかでいろいろな情報が入ってきたんだけど。
もう人材育成なんかやる気がなく、必要なら能力のある人を中途採用すればいいと考えているんじゃなかろうかと思っている。
Re: (スコア:0)
良くて「畑で採れる」程度にしか考えてないから「必要な時だけ」の派遣じゃないですかね多分。
Re: (スコア:0)
> 私の周囲の話だけですが
> 現場の技術者と経営者がほぼダイレクトに話をする環境になってしまい、
> コミュニケーション不全
(Slack関係者: ちょっと営業かけたいので詳しく [yahoo.co.jp])
※ 関係者じゃないのでAC
Re:原因はIoT機器 (スコア:1)
ここ数年の政府介入によるコストカットで品質が下がった。ただそれだけのこと。
会社の収入が減れば支出も下げなければならない。
現用装置は減らせないから検証装置の数を減らす。検証の質は下がる。
今回のような更新作業に投入できる人も減る。
10人で分担して一人当たりの業務を減らし、心身ともに余裕のある状態であれば気づけた計画ミス、考慮漏れも、
人を減らして複数案件マルチスレッドで準備させてたら気づけない。
数年前、ケータイが安くなる前、高い月額払ってるんだから品質高いのは当たり前だという声があった。
月額が、ARPUが減れば、会社の収入は減る。会社の収入が減れば現場に投下されるコストは減る。
かけるコストが下がれば品質も下がる。当たり前のこと。
Re: (スコア:0)
カットしちゃいけないコストとカットしていいコストの認識がおかしいだけ。
品質と関係ないところでは相変わらずジャブジャブ使ってるからな。値下げと関係ない。
Re: (スコア:0)
3日もすればみんな忘れるよ。
喉元過ぎれば熱さ忘れるのが日本人。営業に影響がでるわけでもない。つまりカットして正解のコストってこと。
Re: (スコア:0)
みずほのトラブルはトップから「システムを使いこなせなかった」とかいう発言が出たり
組織を設計するどころかパソコンはただの電卓で業務と関係ないって発想が透けて見えるのがなぁ…
Re:原因はIOTではなく設定変更ミス (スコア:0)
実際、耳にしてみるIOT云々ではなくネットワーク機器の設定変更に瑕疵があったそうな。
で切り戻した途端 途絶えて滞留していた虎トラヒックと通信がつながるようになったので
一気に回線使用率があがり輻輳したんだそうな。
Re: (スコア:0)
色々情報が出てきたけど予想と違ってたのはPCRFじゃなくてHSSが死んでたって部分かな
SMS認証のひとは (スコア:1)
「ログインできない」「銀行送金できない」みたいな事態になりますわ。
特に最近だと、パスワード認証を廃止するのがトレンドらしいし。
「ずっと圏外」 (スコア:1)
サービス名かと思った
Re:「ずっと圏外」 (スコア:1)
仕事に疲れているあなた、人間関係に疲れているあなた、孤独を求めているあなた、そんなあなたにお勧めです。
「ずっと圏外」、この冬サービス開始です。
今すぐお申し込みを。
今お申し込みされると、新サービス「勝手に既読」1が3ヶ月無料で使用できます。この機会にぜひご検討を。
*1 勝手に既読 … SNSで受信したメッセージを既読にし、AIが判断した当たり障りないメッセージを自動返信するサービスです
Re: (スコア:0)
DSDSで違うキャリアにしておくと、こんな時にも安心では？
＃自分はそうしています。
Re:「ずっと圏外」 (スコア:1)
「ときどき圏外」なら欲しいな。
ランダムで通話やSMSを取りこぼしてくれる機能があれば心理的に楽。
３Gと共に去りぬ (スコア:0)
taspoがFOMAだから終了って一体……タバコ自体が厳しいから自販機の更新できないのかねぇ
Re:３Gと共に去りぬ (スコア:1)
コンビニで買えるようになって自販機を更新できるほどの売り上げが立たなくなってるんじゃない？
通信部分だけモジュラー化して差し替えるような作りになってれば安く更新できるだろうけど
10年以上雨風に晒されてればなんとも無いように見えても筐体のあちこちにガタが来てるだろうし。
ふくそう (スコア:0)
IoT回線の工事完了時にIoTの通信が想定以上あってパンクしたらしいですね。
通信途絶してたIoT機器が一気にアクセスしたのかな。
Re:ふくそう (スコア:2)
けっこう IoT機器ってあるんですね。
機器全部で バルス!
# 滅びの破壊力ありすぎ
Re: (スコア:0)
飲料自動販売機のステータス管理、バス・タクシーなどの交通機関、配送トラック・運行トラックの管理用などにも多数使われていますね
今日の午前も電話できなかった (スコア:0)
１０時辺りには回復したものの。
これで3G停波した後に同じことが起きたら、3Gモードで一時回避できた人も困ることになるね。
3Gは残しておいてほしいな
Re:今日の午前も電話できなかった (スコア:1)
３Gの復旧が一番遅れてる（今日昼時点でもまだ完全復旧してない）ようですが。
# 昨日夜８時の時点で親の携帯（３G）→私の携帯（４G）はかからなかった。逆はかかった。
3G復旧見通し立たず (スコア:2)
NHK：NTTドコモ通信障害 3G復旧見通し立たず 副社長が会見で陳謝：2021年10月15日 19時47分 [nhk.or.jp]
3Gは一部でつながりにくい状況が続いているらしい。
Re:今日の午前も電話できなかった (スコア:1)
今の時点で分かってる情報だと、死んだのは4G用のパケット交換機設備なので、3G用の回線交換設備は無事だと思うんですよね。
ただ、3Gの方は長らくドコモによる意図的な発信規制が掛けられていて、電話番号末尾1桁の抽選で運よく当たりを引いた人だけが通話できる状態です。
3G側の規制を開放したくない事情があるのでしょうかね。
Re: (スコア:0)
きのうの17時すぎくらいに職場の3Gガラケーに着信できなくなってトラブルに気づいたけど、その時点ではドコモ回線のスマホは全員問題なかった。
サンプル数少ないので全体を語るつもりはないけど、こういう実体験があるため「3Gは無事」なんて言われてもまったく信じられませんね。
あと頻度は多くないけどその職場のガラケーでつながらないトラブルの経験がほとんどないため、「3Gの方は長らくドコモによる意図的な発信規制が掛けられていて、電話番号末尾1桁の抽選で運よく当たりを引いた人だけが通話できる」も大嘘だと思います。
Re: (スコア:0)
3Gは残しておいてほしいな
でも、月額料金は安い方がいいでしょ？
説明会が (スコア:0)
終わってからの投稿でもよかったんじゃないですかね
ドコモ、14日の大規模障害で緊急会見 原因はIoT向けサーバー切替工事の不具合
https://ascii.jp/elem/000/004/072/4072178/ [ascii.jp]
選択肢のあるありがたさ (スコア:0)
自分はドコモ以外の回線持っているので迂回できたクチだけど、やっぱり経路が複数あるって重要だなと。
キャリア間の設備まとめろ的な案は筋悪だなと思った次第。
いくら頑丈な設備作っても、今回みたいな工事失敗や他社で起きた機器間の証明書トラブルとか起きるとどうにもならんので。
Re: (スコア:0)
こっちではLINE通話が大活躍でしたよ。
LINEは専らチャット専門と思ってた人がいたけど
今回の障害で初めてLINEで通話してみたら使いやすくてびっくりしてた。
Re: (スコア:0)
そんな無理矢理LINEの宣伝とか引くわ……
回線不通の状態でどうやってLINEはデータの送受信してんだよ
Re: (スコア:0)
Wifi使えば通話できるのでは？
Re: (スコア:0)
WiFiだろ。
Re: (スコア:0)
しかし複数あったところで東日本大震災級の災害が来たら経路全滅するよなー。
当時はPHSが逃げ道になったけど今はもうないし困った。
Re: (スコア:0)
どうせ、NTT東西が全力で衛星固定電話の中継車を配備するでしょ。
Re: (スコア:0)
次は楽天がやってくれる
Re: (スコア:0)
取り敢えずwifiなどで楽天linkから通話できる部分だけ生かしてくれりゃ緊急時には手持ちの他のSIMから通話できてそれなりに助かるのだかはてさて
#これから起きることはすべて偶然