treedown’s Report

システム管理者に巻き起こる様々な事象を読者の貴方へ報告するブログです。会社でも家庭でも"システム"に携わるすべての方の共感を目指しています。

※https化しました。その影響でしばらくリンク切れなどがあるかもしれませんが徐々に修正していきます。 リンク切れなどのお気づきの点がございましたらコメントなどでご指摘いただけますと助かります。

(1/2)障害の意外な正体は?

地方拠点から本社のシステム部門に電話がなりました。

はいもしもし…と、電話を取れば

「アプリサーバが落ちているでしょ!早く復旧させてください!」

怒りの電話です。まいったなぁ…そのアプリの担当者、いま離席中なんですよね。電話を回せない状況です。

やむを得ず、ユーザから情報を引き出すようにします。状況が分かっている方が対処はしやすいはず。
「一体どうしたんですか?そのアプリケーション今、まさに私も使っている最中で、動作には一切支障ありませんよ?」
これを聞いた電話の向こうでは別の解釈をしてしまったようです。

「じゃあネットワークの問題だ!突然アプリが動作しなくなったんですよ!早く復旧させてください!」

さらに盛り上げてしまいました。失敗です。ですがネットワークの問題だとオオゴトです。冷静に確認しましょう。
「周囲のみんながインターネットもファイルサーバも使えない状態ですか?」
返事もそこそこに、電話の向こうで会話しているかのようなやり取りが聞こえてきます。

(現地で会話しているらしい小声で)
「ネットワークが落ちているようですよ。」

「えぇ!…(しばし無言)いや私は大丈夫。」

「大丈夫だって?(ちょっと声を張って)おぉーい、ネットワーク落ちていないかーっ。」

どうやら周囲の確認が終わったようです。
電話の主は私に語り掛けてきました。

「いや、まわりのみんなは使っていますね。じゃあ私だけネットワークの問題が起きたってことです!

早く復旧させてください!」

ちょ、ちょっと。落ち着きましょう。

落ち着かせて話を聞く

一つ一つ原因をつぶしていきましょう。
「まずネットワークの問題は周囲の人には起きていない、ということでいいですね。」
と語り掛け、次の答えを引き出します。

「私だけネットワークが使えないです。」

そうなると、インフラじゃないからPCに絞り込めます。
「では通信に問題があるかどうか確認しましょう。ブラウザで何か検索してみてください。」
と、言いながら私の手元のPCでは対象ユーザPCのIPアドレスにpingを打って導通確認します。
Reply from 192.168.XXX.XXX bytes=32 time=10ms TTL=128
これが四回出力されました。ハハハ…。
とりあえずネットワークの問題がないことを確認できましたが、それを本人にも理解してもらうようにします。
ほどなく電話の向こうから

「検索できました!」

と声が聞こえてきました。
「インターネット上のサイトアクセスで検索ができているってことはネットワークの問題はないということです。通信はできています。」
ユーザは納得したようですが、

「じゃあ、何が問題なんですか!アプリが使えないんですよ。"サーバに接続できません"というメッセージが出ているんです。」

落ち着いて。
「いつまで使えていたんですか?使えていた時と使えなくなったあとでどんな変化がありました?」
やはり、ビフォーアフターが基本ですよね、何とか有用な答えを教えてくれと祈りました。

「今日の朝は使えていました。いつの間にか使えなくなっていたんです。」

いつの間にか…ねぇ。なんでもいいから手がかりが欲しいです。
「何か変化がないと突然使えなくなる、ってのはちょっと考えにくいところがありましてね。どんな小さなことでもいいので思い当たることはありませんか?」
この質問、ヤブヘビだったようです。

「何もしてませんよ!」

…取り付く島もなく、拒絶。

しかしここで、助け舟が。
いつの間にかアプリの担当者が自席に戻ってきていました。
途中から会話を聞いていたらしく、ジェスチャーで電話を代わるように私に促してきます。
助かった、と思った私は、急いでユーザに担当者に代わる言葉を発し、電話を引き渡すことにしました。

つづく