VPNサーバーをいじり壊す

VPNサーバーにしているPCにはSSDが２枚挿さっているので、OSのイメージをもう一枚にSSDにコピーして、障害が起きた時に起動ディスクを切り替えるだけで復旧できるようにしようと思いました。

最初はddコマンドでクローンを作る作戦で、一度は上手くコピーできたものの２度目に失敗。失敗の原因は、２枚のSSDが異なるメーカーの同じ容量のもので、ddコマンドがコピー先SSDの容量不足を訴えて止まるという現象。

それならばコピー元のパーティションを少し小さくしてやれば良いと思い、Live USBで起動してパーティション縮小作業をやってからddコマンドを試したものの再び失敗。

そうこうしているうちにコピー元のOSディスクに異常が発生して、結局、どちらのSSDも使い物にならなくなるという始末。

散々、復旧を試みるも心が折れて挫折。

思い切って

1. ２枚のSSDにそれぞれ同じOSをクリーンインストール
2. 同じソフトウエアパッケージ（VPN関連、DNS関連、Dockerなど）をインストール
3. 片方のSSDにVPN、DNS、リバースプロキシー、認証サーバーをインストール・設定
4. 設定ファイルをバックアップ側のSSDにコピー

という手段を取りました。時間はかかるけど、この方が確実で綺麗。

早朝から作業を始めて、終わったのがその日の夜中。なんとか復旧しました。

これで障害発生時にSSDを入れ替えて復旧するという対応策を取れるようになって目出度し。

元々、インフラ系は苦手で、知らないことが多く、ミスもしがちです。調べながらなんとか復旧に漕ぎ着けましたが、同じ苦労は二度としたくない。

実際にやった作業と復旧の手順をまとめて文書管理システムに保存。次に同じことが起きたときには少し楽ができるでしょう。

---

余談

勤め人だった頃の話。協力会社のエンジニアが顧客のデータベースを壊してしまったことがあります。慎重に作業をしていたようですが、何かの手違いでインデックスが壊れて使い物にならなくなりました。その会社の担当だった私が顧客と自分の会社の上司から責任を問われ、顧客からは数１００億の損害だと脅されて生きるのをやめようと思った経験があります。自分の会社の上司や同僚も怖がって現場に来ないし、毎日、顧客の担当者や情シスから嫌味を言われる、そんな中で朝から晩まで現場に張り付いて一人で対応していました。助けてくれたのは、米国本社のエンジニアだけ。結局、体調を崩し、心も病んで、会社から責任を取れと言われて退職しました。その後、一年くらいは働くこともできなかった。その時のことを思えば、今回の復旧作業なんて軽作業です。世のエンジニアのみなさん、くれぐれも心と身体を壊さないようにしてください。