継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

AWS

Aurora のデッドロック情報を抽出して CloudWatch Logs に出力する

タダです. Aurora のデッドロックの発生時に SHOW ENGINE INNODB STATUS を実行し, LATEST DETECTED DEADLOCK の詳細情報を抽出して開発メンバーに連携する作業が時折発生してどうにかならんかな〜と思っていた際に自分の改善案を持っていって所属のチームで…

AWS CLI を使用して SQS のメッセージ滞留数の統計情報を取得

タダです. AWS CLI の SQS に滞留してるメッセージを特定期間中の統計情報を取りたいと思って調査したので備忘録でまとめます. SQS の滞留数取得 1時間ごとの SQS 滞留メッセージの最大値を取得したいとします.滞留しているメッセージ数は ApproximateNumber…

AWS Backup Restore testing のジョブ失敗を Slack に通知する

タダです. AWS Backup Restore testing のジョブが失敗したら通知して監視できるようにしたいと思い,AWS Chatbot を通じて Slack 通知する検証を行いました.その設定をこの記事に記載します. AWS Backup Restore testing のジョブの失敗通知設定方法 EventBr…

Amazon OpenSearch Service でスローログを有効化しているのにログがでない...?時の解決方法を試した

タダです. Amazon OpenSearch Service でスローログを有効化しているのに何もログがないって思ったことはありませんか?自分はあります.これでは遅いクエリの分析ができない...そんな状況からログを出すことができたので対処法をまとめていきます. Amazon Op…

CloudWatch Logs のログから秒,分,時間ごとの件数を集計する時にむちゃくちゃ重宝した構文の紹介

タダです. CloudWatch Logs から時間ごとのログの件数を集計することがあったのを今回の調査で初めて知ったのでまとめておきます. stas 構文 それは stats 構文で名前の通りログのパターン分析に役立つ役割のようです.下記のクエリでは Exception の件数を5…

SecurityHub の違反してるリソースの検出されたリストを出力する方法をまとめる

タダです. 先日SecurityHub を運用していて違反しているリソースを通知することはやっていてアラートを放置してしまっていたので,その違反の修正を方針を決めてやりました.その際に,違反してるリソースを一覧で出す時の方法を実践して学んだのでまとめておき…

AWS Backup restore testing を設定・実行する

タダです. 前回の記事の続きになります.今回は大阪リージョンに複製したバックアップコピーを使ってリストアテストをやっていきます. 前回記事 sadayoshi-tada.hatenablog.com AWS Backup リストアテストの概要 リストアテストとオンデマンドバックアップと…

AWS Backup で Aurora のバックアップの取得と別リージョンにコピーする

タダです. AWS Backup でリストアテストがサポートされました.これはシステムを動かすメインリージョンではなく DR の目的で別リージョンにコピーしたバックアップからリストアをやりたいと思ったため,この記事ではまず バックアップの取得とそのコピーを AW…

Aurora AutoScaling をスケジュール実行するために Terraform で設定する

タダです. Aurora AutoScaling をスケジュール実行したいことありますよね.AWS CLI でもできますが,Terraform で設定をしてみたのでこの記事でまとめます. sadayoshi-tada.hatenablog.com Terraform のコード AutoScaling のスケジュール設定は aws_appautos…

CloudFront でカスタムオリジンとして ALB を指定した時に注意すべきこと

タダです. CloudFront のカスタムオリジンとして ALB を指定した時に注意すべきことをまとめていきます. 本記事の前提 464 エラーの原因 CloudFront がターゲットへ転送する時の HTTP バージョン まとめ 本記事の前提 CloudFront のオリジンとして ALB を指…

Terraform で CloudFront の署名付き URL をやるための設定をまとめる

タダです. CloudFront の署名付き URL を使う機会があり,Terraform で関連設定を行ったことを書いていきます.今までは S3 の署名付き URL しか使ったことがなかったため備忘録としてこの記事にまとめていきます. docs.aws.amazon.com Terraform のコード Clo…

Terraform を使って CloudFront の Managed Prefix List を使って ALB アクセスを定義する

タダです. CloudFront からのネットワークアクセスを制御する方法として Managed Prefix を使って ALB のセキュリティグループでコントロールするのを Terraform でやってみたのでまとめます. aws.amazon.com Managed Prefix List を扱う Terraform のコード…

CodePipeline にやってきた V2 のアップデートをさらいつつ試してみた

タダです. 10/24に CodePipeline で動的なインプットパラメーターがサポートされました.今回サポートされたのは V2 のパイプラインタイプでのみ使えます.この記事で今回のアップデートをさらってみます. aws.amazon.com V2 パイプラインタイプ の特徴 動的イ…

terraform で AWS の SSO 認証ができない事象の対処法

タダです. AWS で SSO 認証で取得したクレデンシャルを使って terraform を実行した時に下記のエラーがでました.このエラーに対処する方法について本記事にまとめます. Error: error configuring S3 Backend: Error creating AWS session: profile "hoge" is…

Terraform で IAM Identity Center のCustomer Managed Policies を定義する

タダです. IAM Identity Center(旧 AWS SSO)で Customer Managed Policies を Terraform で定義して使うようにする機会があったのでこの記事に備忘録でまとめます. Customer Managed Policies とは Terraform で Customer Managed Policies で扱う 1. メンバ…

EventBridge を経由して AWS Chatbot のカスタムメッセージを通知する

タダです. これまで AWS Chatbot には固定のメッセージを通知することはできましたが,利用者の通知したいメッセージは Lambda をかましたりする必要がありました.そんな状況でしたが,特定のフォーマットで SNS にポストすれば Chatbot からカスタムメッセー…

AWS CLI の SSO Login の挙動再学習~更新不可のレガシー設定と自動更新によるトークンプロバイダーの設定~

タダです. AWS CLI の SSO Login を使う中で疑問を持つ挙動があり,調べた内容をこの記事でまとめます. 疑問を持つ挙動の概要 調査した結果 自動更新によるトークンプロバイダーの設定に変更した場合の挙動確認 まとめ 疑問を持つ挙動の概要 ~/.aws/config に…

クロスアカウントでの IAM Access Analizer を実行して Administrator の操作から IAM ポリシーを生成する

タダです. IAM Identity Center で Administrator アクセスを使うことがあると思います.しかし,組織の拡大がしてくると全員に Administrator アクセスを振ったりせず適切な権限調整を行う必要が出てきます.自分もそういった調整を行う必要が出てきた時に IAM…

Terraform で IAM Identity Center のカスタムロール追加とグループの関連付けを行う

タダです. タイトルの通り Terraform で IAM Identity Center のカスタムロール作成とロールのグループ関連付けを行う機会があり,学びもあったので記事にしていきます. Terraform のコード 関連情報 まとめ Terraform のコード 具体的なコードは下記でカスタ…

ALB のリスナーに設定した OIDC 認証の証明書を更新する

タダです. ALB のリスナーに OIDC 認証の証明書を設定して運用している中で証明書の有効期限が切れる前に更新する作業がありました.その際に,以前の証明書の更新方法と異なっていたので備忘録でこの記事でまとめます. 以前の証明書の更新方法 以前は下記の画…

AWS CLI で AWS WAF にタグを置き換え時に遭遇したエラーに対処する方法をまとめる

タダです. AWS WAF にタグを置き換えたいことがあり,UI からは変える箇所が見つけられなかったため,AWS CLI でタグを更新することをやってみました.その際に,遭遇したエラーとその対処を小ネタですが,まとめていきます. 遭遇したエラーの概要 対処の方法 ま…

AWS Cost Usage Report を定期的に Storage Transfer Service で Google Cloud Service に転送するのを Terraform で設定する

タダです. 以前の記事で AWS Cost Usage Report (以下,Cost Usage Report )を BigQuery にロードして Locker Studio で可視化したのですが,この記事では手動オペレーションになっていた AWS -> GCS へのデータを連携する部分の仕組み化と Terrafrom としてコ…

AWS Config の変更記録を除外するリソース登録を Terraform でやってみた

タダです. 以前の記事で AWS Config でリソース変更履歴を追跡しないよう除外できるようになったのをまとめていきましたが,当時 Terraform の対応がされていませんでした.が,Terraform Provider AWS のバージョン 5.5.0 で対応されました.この記事ではリソー…

Terraform AWS Provider で初めて Provider がクラッシュする事態に遭遇した時の対処をまとめる

タダです. Terraform AWS Provider の 5.3.0,5.4.0 で OpenSearch Serverless のリソースが対応するようになりました.そこでリソースを作ってみた後, terraform plan を実行した時に Error: The terraform-provider-aws_v5.4.0_x5 plugin crashed! とメッセ…

CloudFront のアクセスログが S3 に出てない時に対処したことをまとめる

タダです. CloudFront でアクセスログを設定しているのに S3 にログがない...? って思ったことありませんか?自分はあります.ログがないと調査や分析ができなくなってしまって手詰まりになるってことにもなるため,そんな時に対処したことをまとめていきます.…

AWS Config のリソース追跡を除外するアップデートが有効なリージョンを調査した

タダです. AWS Config でリソース変更履歴を追跡しないよう除外できるようになりました.これまでは変更を記録するリソースから除外したいリソースを抜いてあげる必要がありましたが,今回のアップデートで明示的に指定すれば除外してくれるようになりました.…

OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行う~グループ編~

タダです. 前回記事でOpenSearch Serverless のダッシュボードアクセスを Azure AD のエンタープライズアプリケーションに登録したユーザーを使って行いました.今回はグループで行ってみます. sadayoshi-tada.hatenablog.com Azure AD 側の設定 OpenSearch S…

OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行う~ユーザー編~

タダです. OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行うのを試してみたのでこの記事にまとめます. OpenSearch Serverless の ダッシュボードアクセス方法 Azure AD 側の設定 OpenSearch Serverless 側の設定 ネットワーク…

AWS Cost Usage Report を BigQuery に入れて Locker Studio で可視化する

タダです. AWS Cost Usage Report を BigQuery に入れて可視化したいと思い,Locker Studio を使うことにしました.この記事では BigQuery に Cost Usage Report をアップロードして Locker Studio で可視化します. BigQuery に AWS Cost Usage Report をアッ…

AWS Config のコスト削減をしていくためにやってみたことをまとめる

タダです. AWS のアカウントで Config のコストが一時期は月間数10ドルほどの課金だったのが膨れ上がって1000ドル以上になったことがあり,さすがに削減を試みることにしました.やってみたことをまとめます. コスト高騰の状況と詳細確認 関連記事 コスト高騰…