Amazon Lightsail インスタンスに接続出来なくなったので対応したけど原因がよくわからない

たまにあるんですよね、、謎

急激なスローダウン

サイトに接続出来なくなるということがたまにあります。コンソールに入ってメトリクスを見てみたところ、インスタンスのCPUが食い尽くされてました。

これはもしかしてなんかわからんけどアクセスが集中してさばけなくなったかなと思い、Lightsailのインスタンスのスケールアップを検討。よくよく見たら現在販売中のインスタンスは同じ値段でスペック高くなっていたので、さくっとインスタンスを乗り換えました。やったことはここにだいたい書いてあります。

Amazon Lightsail インスタンスをアップグレードしました。

解決したかに見えたが、今度はデータベースにアクセス出来ない

アクセスしてみても、

Too many connections

とでてアクセス出来ない。コンソールに再び入ってデータベースのメトリクスを見てみると、接続数が上限に貼り付いていました。なんだこれ……

解決したか？

httpdの再起動やバッチ処理の見直しで直ったように見えたのですが、3時間後に再び同じ症状が。なんか攻撃でも受けてるのかな、、アクセスログを流し見てたらCloudFrontからのアクセスが多いことに気づき、試行錯誤する中で次の2つを実施したらなんか改善しました。

1. CloudFrontのキャッシュ削除
2. CloudFrontにWAF設定

時間差なく設定してしまったので、どちらが効果あったのか、両方か、どちらも関係なくたまたま攻撃がやんで正常化したのかわかりませんが、今のところ大丈夫。WAFに関しては必要かどうかわかりませんが、攻撃の疑いが拭えない状態だったので設定しておきました。月$15かかるよといわれましたが、、、まあ仕方ないね。

課題点

結局問題の原因究明出来てないやんけといわれれば全くその通りなんですけど、正直これ以上はわからない。LightsailのデータベースではなくRDSなら同時接続数をもう少し柔軟に設定出来るかもしれないし、EC2ならもうちょっと調べられることもあるのかも知れませんが、うーん。今はなんとも言えませんね。引き続き調査していきたいと思います。