継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

AWS

Aurora のバックアップを日次と月次で分けて AWS Backup にて保持する

タダです. Aurora のバックアップを日次と月次で分けて AWS Backup で保持する設定を行ったので,備忘録としてまとめます. 日次と月次のバックアップジョブ 結論として日次と月次のバックアップジョブを分けて作りました.以下は日次で14日間まで保持するバッ…

ECR から不要なイメージを安全に削除する ecrm を検証してみた

タダです. ECR のライフサイクルを使用して不要なコンテナイメージを削除する運用をしていて,特定の ECS タスクで使用していたコンテナイメージを削除してしまってタスクの起動が失敗する事象が発生しました.本件の再発防止を検討する際 CLI ツールの ecrm …

既存のECS サービスを ALB のマルチターゲットグループ化する時に行った対応メモ✍

タダです. 既存の ECS サービスが ALB のターゲットグループに1つだけ関連付けられて稼働している状況で,もう1つターゲットグループを関連付けて2つのターゲットグループからリクエストを受けられる状態を作りたい時がありました.その時に AWS CLI を使って…

ECS サービスデプロイ状況を確認する API サポートを試してみた

タダです. ECS 関連アップデートでデプロイ状況を確認できる API のサポートが発表されました.普段デプロイの際はコンソールで確認を行っていたのでその手間が一定解消されそうだと思い,どんな確認が取れるのかを手元で CLI を試してみます. aws.amazon.com …

Aurora MySQL の sql_mode パラメーターで学んだことメモ✍

タダです. 先日 Aurora MySQL バージョン3 で sql_mode を確認する機会がありました.そこでの学びをまとめておきます. 結論: デフォルトでは sql_mode は何も設定されていない 結論ですが,デフォルトでは sql_mode は何も設定されていない状態です. 何も変更…

MySQL の監査ログの中から書き込みの記録を Athena で検索する

タダです. 以前の記事で S3 に格納した Aurora MySQL の監査ログを Athena で検索するためにテーブルを作り,管理者ユーザーのアクセスを検索したことを記事にしました.今回も関連で Aurora への書き込み操作を監査ログから検索する時に使用したクエリを備忘…

CloudFront の標準アクセスログを Athena で調査した時に使用したクエリメモ✍

タダです. CloudFront の標準アクセスログを Athena を使って調査をした時があり,初めてやったためその時に使用したクエリをまとめます.なお,Athena のテーブルはドキュメントに記載のテーブル定義で作成している前提になります. docs.aws.amazon.com 調査時…

terraform-aws-provider 5.68.0 で非推奨になった aws_iam_role の inline_policy の改修を行ったときのメモ✍

タダです. terraform-aws-provider 5.68.0 で以下の引用文にあるように aws_iam_role にて inline_policy を使用するのが非推奨になり aws_iam_role_policy が代替先になりました.この記事では,そのリソースの改修を行った備忘録を書きます. resource/aws_ia…

OpenSearch Serverless のリソースを Terraform にインポートする

タダです. OpenSearch Serverless のリソースを Terraform の管理下に置くためにインポートを行いました.一部自分の勘違いでハマったことがあったのでそこからの学びをこの記事でまとめます.なお,本記事で使用する hashicorp/aws のプロバイダーバージョンは…

Aurora MySQL 互換バージョン3での一時テーブルについて理解する

タダです. Aurora MySQL 互換バージョン3での一時テーブルの挙動について整理したいと思い,以下の記事及びドキュメントを読みながら学んだ内容をまとめます. aws.amazon.com 一時テーブルについて MySQL では.8.0 より前は一時テーブルのデフォルトストレー…

VPC フローログに ECS サービスのフィールドを追加して Athena で検索する

タダです. VPC フローログのフィールドに ECS サービスに関するフィールドが追加されました.これまで調査の時は ECS の IP アドレスから問題を調べることしかできなかったため,問題の調査がしやすくなります.この記事では VPC フローログに新たに追加された…

Aurora 削除時に Bytebase API を実行するよう Step Functions で自動化する

タダです. 以下の記事を書きました.今回はこれらの記事でやっていることを1つのワークフローで実現するために行ったことをまとめます.つまり,時限式で Aurora を削除する際に合わせて Bytebase API を叩いて普段手動で触っているオペレーションを自動化しま…

AWS CloudShell の VPC サポートがされたので実際に触ってみた

タダです. AWS CloudShell(以下 CloudShell)で VPC 内で利用が可能なりました.このアップデートで踏み台サーバをなくせるのではと思ってどんなことができるのかや制約をこの記事でまとめます. aws.amazon.com CloudShell VPC 環境でできること/制約 実際に起…

【2024年版】RDS と Aurora の SSL/TLS 証明書のローテーションで再起動が発生するかと作業対象のデータベースの一覧を確認した

タダです. 数年ぶりに迫ってきた RDS と Aurora の SSL/TLS 接続で使用する証明書の入れ替えが東京リージョンは 2024/08/22 期限となっています.今回の証明書の入れ替えにあたって利用している Aurora で証明書入れ替え時に再起動が発生するのか,どの証明書…

Bytebase API を実行するワークフロー を Step Functions で構築する

タダです. 前回の記事で Bytebase の API を実行するコマンドを紹介しました.この記事ではローカルから curl で実行していたのですが,自動化して実行できるように Step Functions のサードパーティ API 実行を試してみます. sadayoshi-tada.hatenablog.com S…

EventBridge ルールでワイルドカードのイベントを拾い Aurora クラスターとインスタンス作成を検知する

タダです. Aurora を複製時に EventBridge ルールで特定 Aurora クラスターと DB インスタンスの作成タイミングを検知して Step Functions に処理させたいと思って,EventBridge ルールでワイルドカードを使ってみたので備忘録にまとめます. EventBridge ルー…

Step Functions のパラメーターのバリデーションを設定する

タダです. 前回の記事で時限式の Aurora Clone の削除を Step Functions で試した記事を書きました.今回の記事ではその関連として Aurora を削除するときのパラメーターで渡す際に意図したインプットを次のステートに引き継げるようバリデーションを設けてみ…

EventBridge Scheduler と Step Functions を使って時限式で Aurora 削除を実現する

タダです. 試しに使った Aurora クラスターとインスタンスを時限式で削除したいなと思い,EventBridge と Step Functions を使った自動削除の仕組みを試してみたので,この記事にまとめます.なお,今回の時限式削除はいつどのリソースを削除しているかの記録を…

Amazon Workspace を Microsoft EntraID の SAML 認証を行う~設定編~

タダです. Amazon Workspaces(以下,Workspaces)のログインを Microsoft EntraID の SAML 認証で設定する事があったので今回は SAML 認証設定編です.なお,前回記事は以下になります. sadayoshi-tada.hatenablog.com Workspaces のログインを SAML 認証設定で…

Amazon Workspace を Microsoft EntraID の SAML 認証を行う~準備編~

タダです. Amazon Workspaces(以下,Workspaces)を試す機会が久々に巡ってきて,Microsoft EntraID の SAML 認証を設定する事があったので2回に分けて書いていきます.この記事では,SAML 認証の前の準備編になります. docs.aws.amazon.com Workspaces と SAML …

Bytebase のメタデータストアを RDS の PostgreSQL を指定する

タダです. 以前の記事で ECS で Bytebase を展開する記事を書きました.書いた後に気付いたのですが,ECS タスクを落としてしまうとユーザー情報やデータベースの接続情報など Bytebase のデータが無くなっていてデータベースの指定ができてなかったしそりゃそ…

デッドロックの発生時に通知できるように CloudWatch Logs サブスクリプションフィルターを作る

タダです. 以前,デッドロックの発生時にエラーログを CloudWatch Logs に出力するパラメーターを紹介しました.デッドロック発生時に Datadog Logs に流したいと思って CloudWatch Logs サブスクリプションフィルターと Datadog のモニターを設定したので備忘…

データベース CI/CD ツールの Bytebase を ECS Fargate でホストしてみる 🐳

タダです. データベースの CI/CD の方法を検討する際に Bytebase を試すことがありました.Bytebase はセルフホストするかクラウド版を利用するかの二択があるのですが,セルフホストとして ECS Fargate で起動して RDS に SQL 実行を検証してみました.この記…

RDS Blue/Green Deployment を使って Aurora MySQL 5.7 → 8.0 に移行を試した

タダです. Aurora MySQL 5.7 のサポート期限が今年の10月末に迫っているため,データベースエンジンのバージョンアップを進めています.そんな中で RDS Blue/Green Deployment を使って開発環境のバージョンアップを行ったのですが,その時に感じた良さをまとめ…

Aurora のデッドロック情報を抽出して CloudWatch Logs に出力する

タダです. Aurora のデッドロックの発生時に SHOW ENGINE INNODB STATUS を実行し, LATEST DETECTED DEADLOCK の詳細情報を抽出して開発メンバーに連携する作業が時折発生してどうにかならんかな〜と思っていた際に自分の改善案を持っていって所属のチームで…

AWS CLI を使用して SQS のメッセージ滞留数の統計情報を取得

タダです. AWS CLI の SQS に滞留してるメッセージを特定期間中の統計情報を取りたいと思って調査したので備忘録でまとめます. SQS の滞留数取得 1時間ごとの SQS 滞留メッセージの最大値を取得したいとします.滞留しているメッセージ数は ApproximateNumber…

AWS Backup Restore testing のジョブ失敗を Slack に通知する

タダです. AWS Backup Restore testing のジョブが失敗したら通知して監視できるようにしたいと思い,AWS Chatbot を通じて Slack 通知する検証を行いました.その設定をこの記事に記載します. AWS Backup Restore testing のジョブの失敗通知設定方法 EventBr…

Amazon OpenSearch Service でスローログを有効化しているのにログがでない...?時の解決方法を試した

タダです. Amazon OpenSearch Service でスローログを有効化しているのに何もログがないって思ったことはありませんか?自分はあります.これでは遅いクエリの分析ができない...そんな状況からログを出すことができたので対処法をまとめていきます. Amazon Op…

CloudWatch Logs のログから秒,分,時間ごとの件数を集計する時にむちゃくちゃ重宝した構文の紹介

タダです. CloudWatch Logs から時間ごとのログの件数を集計することがあったのを今回の調査で初めて知ったのでまとめておきます. stas 構文 それは stats 構文で名前の通りログのパターン分析に役立つ役割のようです.下記のクエリでは Exception の件数を5…

SecurityHub の違反してるリソースの検出されたリストを出力する方法をまとめる

タダです. 先日SecurityHub を運用していて違反しているリソースを通知することはやっていてアラートを放置してしまっていたので,その違反の修正を方針を決めてやりました.その際に,違反してるリソースを一覧で出す時の方法を実践して学んだのでまとめておき…