パスワードを忘れた? アカウント作成
15451363 story
NTT

NTTドコモ、14日17時頃からネットワーク障害。2時間以上にわたり全国に影響 42

ストーリー by nagazou
障害 部門より
NTTドコモの提供する音声通話とデータ通信サービスで、10月14日の17時ごろから障害が発生していた。障害は午後7時57分ごろまで発生。その時間から復旧したものの、通話や通信が集中したことから完全復旧には時間を要した模様。このため同社リリースでは順次回復していったと表記している。今回の障害による影響は全国規模となっており、SNSでも「電話が掛けられない」「ずっと圏外」などの声が相次いでいた。原因に関して同社は「ネットワーク工事の切り戻しに伴う信号量増大によるネットワーク輻輳」であるとしている。ITmediaの記事では、事故から復旧まで2時間以上を要しているため、電気通信事業法で定める「重大な事故」に該当する可能性もあると指摘している(ドコモリリース日テレNEWS24ケータイ Watch ITmedia)。
  • 原因はIoT機器 (スコア:5, 参考になる)

    by Anonymous Coward on 2021年10月15日 15時03分 (#4132832)

    原因となったネットワーク工事というのが多分これ↓

    サービス・ソリューションのお知らせ : docomo IoT回線管理プラットフォームがご利用しづらい事象について [nttdocomo.co.jp]

    docomo IoT回線管理プラットフォームにおきまして、
    2021年10月14日(木曜)未明よりメンテナンス工事を実施しておりました。

    明け方からメンテしてたのに完了せず計画時間超過、昼過ぎにメンテ失敗と判断しシステムを切り戻すも一斉に在圏登録が殺到し輻輳発生、夕方にIoT回線以外にも影響が波及という流れと想像。
    # そもそもメンテ成功時はどのようにメンテ解放する想定だったのだろう?

    制御信号(C-Plane)の輻輳という点ではスマートフォン黎明期の2012~2013年にdocomoやauで発生した障害と似ている。
    https://www.nttdocomo.co.jp/info/notice/page/120126.html [nttdocomo.co.jp]
    https://www.kddi.com/corporate/news_release/2013/0610a/pdf/sanko.pdf [kddi.com]
    この時は地域ごとに置かれたMMEの障害に留まっていたものの、今回は全国規模で発生していたのでPCRFが死亡していたものと思われ。

    ドコモネットワーク接続ガイドライン (IoT機器編) [nttdocomo.co.jp][PDF]

    ①同時に大量のIoT機器から接続・発信などを行なわない

    <注意すべき理由>

    接続・発信の際に、IoT機器から通信ネットワークに対して制御信号が送信されます。この制御信号を処理するために通信ネットワークリソースが使われます。つまり、同時に大量のIoT機器が接続・発信を実施すると、それだけ通信ネットワークリソースも占有されることになります。

    通信ネットワークリソースは有限ですので、占有されることにより他のお客様のデバイスが通信ネットワークへ接続を行えなくなるなどの影響が発生します。また、このような状況に陥った場合、弊社通信ネットワークの保護を目的として通信規制等の対処を実施させていただく可能性があります。

    【分散方法】

    各IoT機器の接続・発信の開始タイミングのスケジューリングを行い、開始タイミングをずらすことを推奨します。また、秒単位で制御できることを推奨します。

    当時の反省から今回のようなことを想定していなかったわけじゃないけど、ちょっと想定が甘かった感じですかね。

    ここに返信
    • by Anonymous Coward on 2021年10月15日 15時36分 (#4132857)
      最近こういうの多くないですかねえ
      みずほ銀行のトラブル(は最早年中行事か)、JRの変電所の火災ももしかしたら適切な運用が成されていなかった、若しくは力不足で想定出来なかった‥?とか考えちゃいます
      • by Anonymous Coward

        コロナ禍で現場作業員減&リモートワークで作業の質が落ちているとか?
        東京五輪が終わって&緊急事態宣言解除で気が緩んでいるとか?
        JR変電所とドコモだけじゃ、ただの偶然レベルですね。

        • by Anonymous Coward on 2021年10月15日 20時42分 (#4133083)

          私の周囲の話だけですが、現場の技術者を束ねてたマネージャ職が年齢制限やコストカット、
          家庭の事情(介護や育児)や労働意欲の低下(ある程度収入のアテがあって働く必要が無くなった)などで
          続々と退職してしまっていて、現場の技術者と経営者がほぼダイレクトに話をする環境になってしまい、
          コミュニケーション不全で現場が回らない、という事例が多いです。

          まだまだ偶然で片付けられるレベルではありますが、そのうちこういうのがあちこちで起こってくるでしょう。

          • by Anonymous Coward

            現場の技術者と経営者がほぼダイレクトに話をする環境になってしまい、

            前職でコンサルが「会社の組織階層を廃して、マネージャーと担当だけにしろ」と吠えていたことを回想しています。

            • by Anonymous Coward on 2021年10月16日 10時28分 (#4133386)

              今のうちがそうだな。

              全事業部をマージして業務内容ごとにグルーピングした上で、部とか課の枠をなくてして
              各プロジェクトへ社内人材派遣をやっているような感じ。
              横並びのための連絡網をぶっ壊しておきながら代替手段を用意する気がないみたいで、
              構造改革の目的の一つに技術の属人化を防ぐというのがあったのに担当者にしか技術が蓄えられない
              という末期的な状況。

              複数のプロジェクトに属している人を介して細々と他プロジェクトのノウハウ(落とし穴の情報とか)が
              やりとりされている。

              • by Anonymous Coward

                情報を集めて整理体系化する予算が消えちゃってますし元々評価低いし…

                一子相伝すらされなくなったという。

              • by Anonymous Coward

                10年以上の中堅は経験があるからまだいいんだけど、2,3年の若手は情報が入ってこなくて可哀相。
                以前は業務中の雑談や課内会議なんかでいろいろな情報が入ってきたんだけど。
                もう人材育成なんかやる気がなく、必要なら能力のある人を中途採用すればいいと考えているんじゃなかろうかと思っている。

              • by Anonymous Coward

                良くて「畑で採れる」程度にしか考えてないから「必要な時だけ」の派遣じゃないですかね多分。

          • by Anonymous Coward

            > 私の周囲の話だけですが
            > 現場の技術者と経営者がほぼダイレクトに話をする環境になってしまい、
            > コミュニケーション不全

            (Slack関係者: ちょっと営業かけたいので詳しく [yahoo.co.jp])

            ※ 関係者じゃないのでAC

        • by Anonymous Coward on 2021年10月16日 1時03分 (#4133244)

          ここ数年の政府介入によるコストカットで品質が下がった。ただそれだけのこと。
          会社の収入が減れば支出も下げなければならない。

          現用装置は減らせないから検証装置の数を減らす。検証の質は下がる。
          今回のような更新作業に投入できる人も減る。
          10人で分担して一人当たりの業務を減らし、心身ともに余裕のある状態であれば気づけた計画ミス、考慮漏れも、
          人を減らして複数案件マルチスレッドで準備させてたら気づけない。

          数年前、ケータイが安くなる前、高い月額払ってるんだから品質高いのは当たり前だという声があった。
          月額が、ARPUが減れば、会社の収入は減る。会社の収入が減れば現場に投下されるコストは減る。
          かけるコストが下がれば品質も下がる。当たり前のこと。

          • by Anonymous Coward

            カットしちゃいけないコストとカットしていいコストの認識がおかしいだけ。
            品質と関係ないところでは相変わらずジャブジャブ使ってるからな。値下げと関係ない。

            • by Anonymous Coward

              3日もすればみんな忘れるよ。
              喉元過ぎれば熱さ忘れるのが日本人。営業に影響がでるわけでもない。つまりカットして正解のコストってこと。

      • by Anonymous Coward

        みずほのトラブルはトップから「システムを使いこなせなかった」とかいう発言が出たり
        組織を設計するどころかパソコンはただの電卓で業務と関係ないって発想が透けて見えるのがなぁ…

    • 実際、耳にしてみるIOT云々ではなくネットワーク機器の設定変更に瑕疵があったそうな。

      で切り戻した途端 途絶えて滞留していた虎トラヒックと通信がつながるようになったので
      一気に回線使用率があがり輻輳したんだそうな。

    • by Anonymous Coward

      色々情報が出てきたけど予想と違ってたのはPCRFじゃなくてHSSが死んでたって部分かな

  • by Anonymous Coward on 2021年10月15日 14時26分 (#4132794)

    「ログインできない」「銀行送金できない」みたいな事態になりますわ。
    特に最近だと、パスワード認証を廃止するのがトレンドらしいし。

    ここに返信
  • by Anonymous Coward on 2021年10月15日 19時35分 (#4133014)

    サービス名かと思った

    ここに返信
    • by Anonymous Coward on 2021年10月15日 19時56分 (#4133036)

      仕事に疲れているあなた、人間関係に疲れているあなた、孤独を求めているあなた、そんなあなたにお勧めです。
      「ずっと圏外」、この冬サービス開始です。
      今すぐお申し込みを。

      今お申し込みされると、新サービス「勝手に既読」1が3ヶ月無料で使用できます。この機会にぜひご検討を。
      *1 勝手に既読 … SNSで受信したメッセージを既読にし、AIが判断した当たり障りないメッセージを自動返信するサービスです

      • by Anonymous Coward

        DSDSで違うキャリアにしておくと、こんな時にも安心では?
        #自分はそうしています。

    • by Anonymous Coward on 2021年10月16日 11時52分 (#4133435)

      「ときどき圏外」なら欲しいな。
      ランダムで通話やSMSを取りこぼしてくれる機能があれば心理的に楽。

  • by Anonymous Coward on 2021年10月15日 14時23分 (#4132793)

    taspoがFOMAだから終了って一体……タバコ自体が厳しいから自販機の更新できないのかねぇ

    ここに返信
    • by Anonymous Coward on 2021年10月15日 14時53分 (#4132825)

      コンビニで買えるようになって自販機を更新できるほどの売り上げが立たなくなってるんじゃない?
      通信部分だけモジュラー化して差し替えるような作りになってれば安く更新できるだろうけど
      10年以上雨風に晒されてればなんとも無いように見えても筐体のあちこちにガタが来てるだろうし。

  • by Anonymous Coward on 2021年10月15日 14時39分 (#4132808)

    IoT回線の工事完了時にIoTの通信が想定以上あってパンクしたらしいですね。
    通信途絶してたIoT機器が一気にアクセスしたのかな。

    ここに返信
  • by Anonymous Coward on 2021年10月15日 14時53分 (#4132824)

    10時辺りには回復したものの。
    これで3G停波した後に同じことが起きたら、3Gモードで一時回避できた人も困ることになるね。
    3Gは残しておいてほしいな

    ここに返信
    • by Anonymous Coward on 2021年10月15日 14時57分 (#4132829)

      3Gの復旧が一番遅れてる(今日昼時点でもまだ完全復旧してない)ようですが。
      # 昨日夜8時の時点で親の携帯(3G)→私の携帯(4G)はかからなかった。逆はかかった。

      • by maia (16220) on 2021年10月15日 23時18分 (#4133206) 日記

        NHK:NTTドコモ通信障害 3G復旧見通し立たず 副社長が会見で陳謝:2021年10月15日 19時47分 [nhk.or.jp]

        通信障害にともなって、通信サーバーに新たに情報の登録が必要になり、その処理に時間がかかっているため復旧が遅れている

        3Gは一部でつながりにくい状況が続いているらしい。

      • by Anonymous Coward on 2021年10月15日 15時16分 (#4132841)

        今の時点で分かってる情報だと、死んだのは4G用のパケット交換機設備なので、3G用の回線交換設備は無事だと思うんですよね。
        ただ、3Gの方は長らくドコモによる意図的な発信規制が掛けられていて、電話番号末尾1桁の抽選で運よく当たりを引いた人だけが通話できる状態です。
        3G側の規制を開放したくない事情があるのでしょうかね。

        • by Anonymous Coward

          きのうの17時すぎくらいに職場の3Gガラケーに着信できなくなってトラブルに気づいたけど、その時点ではドコモ回線のスマホは全員問題なかった。
          サンプル数少ないので全体を語るつもりはないけど、こういう実体験があるため「3Gは無事」なんて言われてもまったく信じられませんね。

          あと頻度は多くないけどその職場のガラケーでつながらないトラブルの経験がほとんどないため、「3Gの方は長らくドコモによる意図的な発信規制が掛けられていて、電話番号末尾1桁の抽選で運よく当たりを引いた人だけが通話できる」も大嘘だと思います。

    • by Anonymous Coward

      3Gは残しておいてほしいな

      でも、月額料金は安い方がいいでしょ?

  • by Anonymous Coward on 2021年10月15日 15時26分 (#4132849)

    終わってからの投稿でもよかったんじゃないですかね

    ドコモ、14日の大規模障害で緊急会見 原因はIoT向けサーバー切替工事の不具合
    https://ascii.jp/elem/000/004/072/4072178/ [ascii.jp]

    ここに返信
  • by Anonymous Coward on 2021年10月15日 17時34分 (#4132929)

    自分はドコモ以外の回線持っているので迂回できたクチだけど、やっぱり経路が複数あるって重要だなと。
    キャリア間の設備まとめろ的な案は筋悪だなと思った次第。
    いくら頑丈な設備作っても、今回みたいな工事失敗や他社で起きた機器間の証明書トラブルとか起きるとどうにもならんので。

    ここに返信
    • by Anonymous Coward

      こっちではLINE通話が大活躍でしたよ。
      LINEは専らチャット専門と思ってた人がいたけど
      今回の障害で初めてLINEで通話してみたら使いやすくてびっくりしてた。

      • by Anonymous Coward

        そんな無理矢理LINEの宣伝とか引くわ……
        回線不通の状態でどうやってLINEはデータの送受信してんだよ

    • by Anonymous Coward

      しかし複数あったところで東日本大震災級の災害が来たら経路全滅するよなー。
      当時はPHSが逃げ道になったけど今はもうないし困った。

      • by Anonymous Coward

        どうせ、NTT東西が全力で衛星固定電話の中継車を配備するでしょ。

      • by Anonymous Coward

        次は楽天がやってくれる

        • by Anonymous Coward

          取り敢えずwifiなどで楽天linkから通話できる部分だけ生かしてくれりゃ緊急時には手持ちの他のSIMから通話できてそれなりに助かるのだかはてさて

          #これから起きることはすべて偶然

typodupeerror

コンピュータは旧約聖書の神に似ている、規則は多く、慈悲は無い -- Joseph Campbell

読み込み中...