昨夕、珍しく事務所に出社していたら、学校回りをしていた情報教育コーディネータさんからケータイに連絡がはいりました。

電話：今日、担当の学校にいったら、ラックの中のサーバがすごく大きな音をだしてるんです。
私　：暑いのなら、ファンの回転が上るんで、音が大きくなるよ。
電話：そんな生易しい音じゃないんです。響いてるんです。
私　：そのサーバは電源やCPU含めてファンが４つ以上あるからね。
電話：ちょっと調べてもらえませんか？
私　：じゃ、ちょっとまって。ServerViewで温度とファンの様子をみるから。

というわけで、リモートログオンしようとしたら、接続できるのに、ログオンできない。
　・pingには応答する。
　・SNMPにも応答しない。
どうもおかしい。

私　：サーバになにかした？
電話：ちょっと聞いてみます。
　　　（　向こうでごにょごにょ、もぐもぐの音。　）
電話：電源が切れたそうです。
私　：UPSが付いてるから停電しても落ちないし、もう1台のサーバにはUPSが働いたという記録はないよ。
電話：いや、電源を切ったそうです。
私　：電源を切ったって、電源スイッチなんか触れないでしょ。ラックには鍵がかかってるし。
電話：ちょっと代わります。

　（電話の相手が代わる。この春まで情報教育コーディネータで学校回りをしていた先生です）

電話：あまりに音が大きいので、鍵をもってる私が、ラックの扉を開けたんです。
私　：はい～？
電話：そしたら、別の先生が、電源を切ったんです。
私　：はい～？　なんで？
電話：なんでって言われても。あっという間に切ったんです。
私　：そういうことがおきない様に、鍵のついたラックにいれてあるんやけど。で、いま、何が起きてるか、サーバにモニタとキーボードをつないで見てみてよ。
電話：私がするんですか？サーバは触ったこと無いですよ。
私　：でも君がラックの鍵を開けたんでしょ、何かするつもりで。だから、電源が切られたんでしょ？
電話：そういわれても…。
私　：ま、今の仕事じゃないしね。そのまま何もせんとほっといて。すぐに行くから。

というわけで、現地に出動。電源を切った方は、どなたかは教えてもらえませんでした。ま、当然か。教えてもらっても、起きたことは仕方が無い。責任者を通じて、事態の説明を校長にしてもらうことにしようっと。

移動中に、センターから電話。リモートでログオンできるようになったとのこと。RAID１のChannnel＃２のドライブが停止しているというメッセージが　PROMISE　の　Fastcheck monitoring utilityから出されているとのこと。

現地にいったら、なるほどすごい音。内蔵ファンの軸ずれらしいなぁ、とおもってServerViewのログを見ようとしたら、すでにイベントログに

　Fan 2 will fail in near future in cabinet 0 of server XXXX.

という記録が10日ほど前から記録されている。音が急に大きくなったのは2日ほど前のことらしいが、センターには連絡はしていなかったみたい。センターでもSNMPのログを定期的にチェックはしているけれど、サーバ内の温度が上っている訳でも、ファンが止まったわけでもないので、センターの管理サーバにはワーニングがでてなかったし。

　PROMISEのエラーログをみると、再起動するまでシンクロエラーはでてないので、突然の電源断で調子が狂ったとしか思えない。
　とりあえず、シャットダウンして、FAN２の電源ケーブルをマザーボードからはずして、片肺運転としました。

　しかし、「調子がおかしい」とセンターに連絡してもらったら、それなりに対処するのになぁ。

　これでは、学校にラックの鍵を預けることすら用心しないといけないのかなぁ。

ちなみに、ビジネスアワー限定の保守契約なんですが、深夜にもかかわらず担当営業の個人ケータイに電話して、状態や対処の説明とログをメールして、CE手配をしました。
　でも、ちょっと古い機械なんで、部品の手配に手間取ってるようで、現地修理は火曜日ということになりました。
　いきなり電源断なのでChannel#1のドライブもエラー起こしてる可能性があるし、そうなったら予備機と交換して、手術を受けたマシンは時間のかかる再インストール作業に突入だろうなぁ。

　これも仕事のうちかぁ。