【RDS】何もしてないのにRDS/MySQLが落ちたお話

[TimeStamp] (UTC+09:00) Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered.
[TimeStamp] (UTC+09:00) DB instance restarted
[TimeStamp] (UTC+09:00) Recovery of the DB instance is complete.

該当ログを色々調べてみると、AWS側の基盤でトラブルが発生した場合に記載されることがありそう。

該当ログに関する記事

引用：Amazon RDS と Amazon Aurora のパフォーマンスとイベントの可視性を高める

Cool fact 1: イベント「Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered. (DB インスタンスの復旧がスタートされました。復旧時間は、復旧するデータの量に応じて変わります。) 」これは、インスタンスのハードウェアが復旧中であることを意味します。Amazon RDS の復旧は、新しい Amazon Elastic Compute Cloud (Amazon EC2) ホストに移行して、ハードウェアを交換することによって行われます。リカバリにかかる時間は場合によって異なりますが、以下の 2 つの理由によります。まず、新しいホストのプロビジョニングには時間がかかります。次に、新しいホストが作成され、データベースプロセスが起動すると、プロセスがクラッシュリカバリを開始します。クラッシュリカバリは、リカバリ前の状況に応じて、短時間で完了する場合もあれば、時間がかかる場合もあります。エンジンはそれぞれ異なっており、クラッシュリカバリに関するデータベースエンジンのマニュアルを確認することをお勧めします。

引用：RDS/MySQL のインスタンスのリカバリーが 突然 開始された

インスタンスが稼働しているホストのハードウェアなどに問題が発生するとこのような状況になる事があります。
ある程度まではサポートケースを起票すると状況確認することが可能だと思います。
以下、英語ですが同様の問い合わせの例です。

Unexplained: “Recovering DB Instance”
https://forums.aws.amazon.com/thread.jspa?messageID=415143

引用：Amazon RDS event categories and event messages

recovery：RDS-EVENT-0020：Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered.

原因：AWS側の基盤障害が発生していた

ある程度調べましたが、原因は掴めず。
先ほどの記事もあった通りAWSサポートへ起票したところ、AWS側の影響であることが分かりました。

・DB インスタンスが動作しているホストマシンにて問題が発生。
・回復のためリカバリを実施。

無事に調査完了です。自身だけでは解決出来ない問題もあるため、AWSサポートへの加入は必須ですね。

AWS基盤障害は発生するものとして運用すること

クラウドを利用していると、AWS基盤障害は発生するものとして考えることが重要です。
過信、ダメ絶対。

ある日突然1時間のDB停止が発生して困るよう場合は、素直にマルチAZ化で安心を買うほうがベターです。

・リソースにコストを割いて安心を買う
・コストを削減して突然の障害を許容する

非機能要件を固めて合意し、ドキュメントに記載して万が一の際に備えると幸せになれるかもしれません。