夜中に塾に行く

夜、突然、Tailscale経由で塾のサーバーへのアクセスができなくなり、原因究明を急ぎました。

調査の結果、Tailscale側には問題なし。

原因は、サーバーが落ちている、LANに障害がある、のどちらかだと判定しましたが、このどちらもが現場に行かないと復旧できない。
仕方なく、スペアのハブを持って、塾に向かいました。

台風25号が通り過ぎた後でしたが、事前の調べで、何箇所か通行止めの区間があることがわかり、一番無難なルートを選択しました。気持ちとしては速いルートで行きたかったのですが、安全に到着できることを優先しました。

塾に到着したのが23時頃。

塾について調べたところ、原因は、

電気の瞬断
↓
UPSから停電信号を受信
↓
サーバーがシャットダウン

でした。

ネットワーク機器の電源を再投入、サーバーの起動、それ以外のマシンを起動。
すべてのホストのネットワークとすべての塾内サービスの応答を確認し終わったのが0時。

帰り道は空いていたので速かった。

UPS監視に使っているapcupsdが正常、シャットダウンも正常ということで、システムの損傷がなかったのは良かったのですが、サーバーの起動処理以外にも、現場に行かないとできない対応がいくつかあります。
いずれどこかのタイミングで、電源障害と機器の故障への耐性を高める必要があると感じています。