AWS
タダです. 前回 DuckDB で CloudTrail ログを分析してみました.今回は ALB のアクセスログを分析してみます. sadayoshi-tada.hatenablog.com sadayoshi-tada.hatenablog.com ALB アクセスログのテーブルを作る こちらの記事を参照させていただいてテーブルを…
タダです. 前回 DuckDB CLI をセットアップしました.今回は CloudTrail ログを分析してみます. sadayoshi-tada.hatenablog.com S3 に入っているログからテーブルを作る こちらの記事を参照させていただいてテーブルを作ってみました. D CREATE TABLE trail_l…
タダです. 今年に入って DuckDB というワードを X やブログ記事を見かける体感が自分の中であり,この期に試してみたいと思っていくつかの記事で試した内容をまとめます.この記事では DuckDB の概要とローカルで実行する準備をします. DuckDB とは DuckDB の…
タダです. Aurora のバックアップを日次と月次で分けて AWS Backup で保持する設定を行ったので,備忘録としてまとめます. 日次と月次のバックアップジョブ 結論として日次と月次のバックアップジョブを分けて作りました.以下は日次で14日間まで保持するバッ…
タダです. ECR のライフサイクルを使用して不要なコンテナイメージを削除する運用をしていて,特定の ECS タスクで使用していたコンテナイメージを削除してしまってタスクの起動が失敗する事象が発生しました.本件の再発防止を検討する際 CLI ツールの ecrm …
タダです. 既存の ECS サービスが ALB のターゲットグループに1つだけ関連付けられて稼働している状況で,もう1つターゲットグループを関連付けて2つのターゲットグループからリクエストを受けられる状態を作りたい時がありました.その時に AWS CLI を使って…
タダです. ECS 関連アップデートでデプロイ状況を確認できる API のサポートが発表されました.普段デプロイの際はコンソールで確認を行っていたのでその手間が一定解消されそうだと思い,どんな確認が取れるのかを手元で CLI を試してみます. aws.amazon.com …
タダです. 先日 Aurora MySQL バージョン3 で sql_mode を確認する機会がありました.そこでの学びをまとめておきます. 結論: デフォルトでは sql_mode は何も設定されていない 結論ですが,デフォルトでは sql_mode は何も設定されていない状態です. 何も変更…
タダです. 以前の記事で S3 に格納した Aurora MySQL の監査ログを Athena で検索するためにテーブルを作り,管理者ユーザーのアクセスを検索したことを記事にしました.今回も関連で Aurora への書き込み操作を監査ログから検索する時に使用したクエリを備忘…
タダです. CloudFront の標準アクセスログを Athena を使って調査をした時があり,初めてやったためその時に使用したクエリをまとめます.なお,Athena のテーブルはドキュメントに記載のテーブル定義で作成している前提になります. docs.aws.amazon.com 調査時…
タダです. terraform-aws-provider 5.68.0 で以下の引用文にあるように aws_iam_role にて inline_policy を使用するのが非推奨になり aws_iam_role_policy が代替先になりました.この記事では,そのリソースの改修を行った備忘録を書きます. resource/aws_ia…
タダです. OpenSearch Serverless のリソースを Terraform の管理下に置くためにインポートを行いました.一部自分の勘違いでハマったことがあったのでそこからの学びをこの記事でまとめます.なお,本記事で使用する hashicorp/aws のプロバイダーバージョンは…
タダです. Aurora MySQL 互換バージョン3での一時テーブルの挙動について整理したいと思い,以下の記事及びドキュメントを読みながら学んだ内容をまとめます. aws.amazon.com 一時テーブルについて MySQL では.8.0 より前は一時テーブルのデフォルトストレー…
タダです. VPC フローログのフィールドに ECS サービスに関するフィールドが追加されました.これまで調査の時は ECS の IP アドレスから問題を調べることしかできなかったため,問題の調査がしやすくなります.この記事では VPC フローログに新たに追加された…
タダです. 以下の記事を書きました.今回はこれらの記事でやっていることを1つのワークフローで実現するために行ったことをまとめます.つまり,時限式で Aurora を削除する際に合わせて Bytebase API を叩いて普段手動で触っているオペレーションを自動化しま…
タダです. AWS CloudShell(以下 CloudShell)で VPC 内で利用が可能なりました.このアップデートで踏み台サーバをなくせるのではと思ってどんなことができるのかや制約をこの記事でまとめます. aws.amazon.com CloudShell VPC 環境でできること/制約 実際に起…
タダです. 数年ぶりに迫ってきた RDS と Aurora の SSL/TLS 接続で使用する証明書の入れ替えが東京リージョンは 2024/08/22 期限となっています.今回の証明書の入れ替えにあたって利用している Aurora で証明書入れ替え時に再起動が発生するのか,どの証明書…
タダです. 前回の記事で Bytebase の API を実行するコマンドを紹介しました.この記事ではローカルから curl で実行していたのですが,自動化して実行できるように Step Functions のサードパーティ API 実行を試してみます. sadayoshi-tada.hatenablog.com S…
タダです. Aurora を複製時に EventBridge ルールで特定 Aurora クラスターと DB インスタンスの作成タイミングを検知して Step Functions に処理させたいと思って,EventBridge ルールでワイルドカードを使ってみたので備忘録にまとめます. EventBridge ルー…
タダです. 前回の記事で時限式の Aurora Clone の削除を Step Functions で試した記事を書きました.今回の記事ではその関連として Aurora を削除するときのパラメーターで渡す際に意図したインプットを次のステートに引き継げるようバリデーションを設けてみ…
タダです. 試しに使った Aurora クラスターとインスタンスを時限式で削除したいなと思い,EventBridge と Step Functions を使った自動削除の仕組みを試してみたので,この記事にまとめます.なお,今回の時限式削除はいつどのリソースを削除しているかの記録を…
タダです. Amazon Workspaces(以下,Workspaces)のログインを Microsoft EntraID の SAML 認証で設定する事があったので今回は SAML 認証設定編です.なお,前回記事は以下になります. sadayoshi-tada.hatenablog.com Workspaces のログインを SAML 認証設定で…
タダです. Amazon Workspaces(以下,Workspaces)を試す機会が久々に巡ってきて,Microsoft EntraID の SAML 認証を設定する事があったので2回に分けて書いていきます.この記事では,SAML 認証の前の準備編になります. docs.aws.amazon.com Workspaces と SAML …
タダです. 以前の記事で ECS で Bytebase を展開する記事を書きました.書いた後に気付いたのですが,ECS タスクを落としてしまうとユーザー情報やデータベースの接続情報など Bytebase のデータが無くなっていてデータベースの指定ができてなかったしそりゃそ…
タダです. 以前,デッドロックの発生時にエラーログを CloudWatch Logs に出力するパラメーターを紹介しました.デッドロック発生時に Datadog Logs に流したいと思って CloudWatch Logs サブスクリプションフィルターと Datadog のモニターを設定したので備忘…
タダです. データベースの CI/CD の方法を検討する際に Bytebase を試すことがありました.Bytebase はセルフホストするかクラウド版を利用するかの二択があるのですが,セルフホストとして ECS Fargate で起動して RDS に SQL 実行を検証してみました.この記…
タダです. Aurora MySQL 5.7 のサポート期限が今年の10月末に迫っているため,データベースエンジンのバージョンアップを進めています.そんな中で RDS Blue/Green Deployment を使って開発環境のバージョンアップを行ったのですが,その時に感じた良さをまとめ…
タダです. Aurora のデッドロックの発生時に SHOW ENGINE INNODB STATUS を実行し, LATEST DETECTED DEADLOCK の詳細情報を抽出して開発メンバーに連携する作業が時折発生してどうにかならんかな〜と思っていた際に自分の改善案を持っていって所属のチームで…
タダです. AWS CLI の SQS に滞留してるメッセージを特定期間中の統計情報を取りたいと思って調査したので備忘録でまとめます. SQS の滞留数取得 1時間ごとの SQS 滞留メッセージの最大値を取得したいとします.滞留しているメッセージ数は ApproximateNumber…
タダです. AWS Backup Restore testing のジョブが失敗したら通知して監視できるようにしたいと思い,AWS Chatbot を通じて Slack 通知する検証を行いました.その設定をこの記事に記載します. AWS Backup Restore testing のジョブの失敗通知設定方法 EventBr…
