継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

Python で RDS に格納されている各種ログをダウンロードする

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウ…

AWS Backup のバックアップジョブ失敗を Slack に通知する

タダです. AWS Backup でバックアップジョブを実行した時にジョブが失敗したら通知したいと思い,AWS Chatbot を通じて Slack 通知したので,その設定をこの記事に記載します. AWS Backup ジョブの失敗通知設定方法 EventBridge でジョブのステートをチェック…

Lambda と EventBridge でリクエストを投げる定期処理を実現する

タダです. 先日,Lambda と EventBridge Scheduler を使ってパラメーターを渡した処理の実行を試してみました.今度は受け取ったパラメーターを使って POST リクエストを特定のエンドポイントに向かって定期実行する処理を試してみたので,この記事でやったこと…

静的サイトジェネレーターの『Astro』で Hello,World! のページを生成してみた

タダです. 先日下記の記事を見て,そこで初めて Astro 知って気になったので,まずは Getting Started な内容を触ってみることにしました.この記事ではまずは Hello, World! の最低限のページを表示することをやっていきます. blog.riywo.com Astro インストー…

CloudWatch Metrics Streams を使って Datadog に選択したメトリクスを送る

タダです. Datadog の AWS インテグレーションでメトリクスを収集することをやっていたのですが,SageMaker のエンドポイントを収集できない課題があり,カスタムメトリクスを使っていました.ただ,CloudWatch の GetMetricData API のコストが高くなっているた…

様々なインフラストラクチャの描画ツールである 『Cartography』 を使ってみた

タダです. AWS の IAM ロールとポリシーがどのような関係になっているかを描画するツールを調べた時に,Cartography を使う機会があったのでこの記事で試した内容をまとめていきます. Cartography とは Cartography のセットアップ Cartography を使って AWS …

EventBridge Scheduler で Lambda にパラメーターを渡してスケジュール実行する

タダです. 昨年末に EventBridge の新機能で EventBridge Scheduler がでました.この機能を使って Lambda にパラメーターを渡して実行してみます. aws.amazon.com EventBridge Scheduler とは EventBridge Scheduler で実行する Lambda の準備 Terraform で …

AWS Lambda + Go で初歩的なミスをまとめる

タダです. AWS Lambda を Go で書くことを久々にやっていると,そもそも初歩的なミスでコードを実行するとことまで至るのに時間がかかってしまいました.そのため,備忘録的に何をしたのかをまとめていきます. ハンドラーの指定 ローカル環境が M1 で発生したエ…

2022年の振り返り

タダです。 2022年も終わりなので,今年の振り返りを行ってきます. 目標の振り返り アウトプットの振り返り ブログ 読者数と Twitter のフォロワー数 登壇 Podcast の自分たちの番組作り まとめ 過去の振り返り 目標の振り返り まずは,年始に立てた目標を振り…

Athena のクエリ結果をダウンロードした CSV が文字化けした時の対処

タダです. Athena のクエリ結果をダウンロードした CSV ファイルで文字化けしていました.その時の対処をまとめます. 文字化けの原因 まとめ 文字化けの原因 ダウンロード後のファイルが文字化けした原因は, クエリ結果を暗号化 の選択で CSE_KMS を選択して…

KMS を利用をしている IAM ロールを抽出する

タダです. KMS を利用して暗号化や復号化をしている IAM ロールを調査しようと思い,CloudTrail のログから Athena で抽出するクエリを書くことがありました.この記事で備忘録としてまとめます. 抽出用のクエリ 抽出結果 まとめ 抽出用のクエリ 抽出するため…

アカウント跨ぎでの CloudTrail のログを Athena で検索する

タダです. AWS のマルチアカウント運用を行っていると,各システムアカウントのログをログ管理用アカウントに集約して管理することがあると思います.今回はログ集約アカウント(この記事ではアカウント B とします)に対して別の AWS アカウント(こちらはアカウ…

CloudFront のセキュリティヘッダーの設定を試した

タダです. CloudFront でホスティングしているサイトのレスポンスにセキュリティヘッダーをつける対応を行ったので,その備忘録を残しておきます. CloudFront のセキュリティヘッダーとは セキュリティヘッダーを追加してみる セキュリティヘッダーのポリシー…

別アカウントで取得した ACM の DNS 認証を Route53 で行う

タダです. Route53 でレコードを管理している AWS アカウント Aと ACM を発行して ALB や CloudFront に使う AWS アカウント B が別れている場合,ACM の DNS 認証で証明書を有効化できるかというのを確認したので備忘録として残しておきます. ACM の発行の作…

EventBridge のテストイベントを試すコマンドを使ってみた

タダです. EventBridge をスケジューラーとしてばかり使ってきたのですが,カスタムイベントパターンを使う機会がでてきました.調べたところ EventBridge にはテストイベントを使えるから試してみたので備忘録で小ネタとして残します. テストイベントコマンド…

MySQL の構成管理を Terraform で行う

タダです. RDS MySQL でのユーザーやデーターベース管理を Terraform でやりたいと思い,MySQL Provider を使ってみたのでこの記事にまとめていきます. MySQL Provider について Provider の設定 terraform plan/apply の実行 Terraform の定義 GitHub Action…

RDS の IAM 認証で使うトークンにホスト名を指定できるか?

タダです. RDS の IAM 認証をする時に言われてみれば試したことなかったことを経験したので備忘録でまとめます. sadayoshi-tada.hatenablog.com sadayoshi-tada.hatenablog.com 概要 Aurora Serverless に接続するために IAM 認証を使うことにしたのですが,…

Aurora Severless V2 の DB ユーザーに GRANT ALL PRIVILEGES をするとエラーが出たので対処をまとめた

タダです. Aurora Serveless V2 で管理者ユーザーと同等の権限を持つ DB ユーザーを作りたいと思い, GRANT ALL PRIVILEGES でユーザーに権限を付与しようとしたら実行ができないことを知りました.この記事ではどのように対応したのかをまとめます. 事象の概…

Aurora Serverless に IAM 認証で接続を試した

タダです. Aurora Serverless V2 が今年の4月にリリースされました.Aurora Serveless V2 を使う機会があり,IAM 認証での接続を試したのでこの記事にまとめていきます. aws.amazon.com Aurora Severless V2 で IAM 認証 を行う方法 Aurora Severless V2 で IA…

AWS の特定タグが付けられているリソースを抽出する

タダです. 特定タグのついたリソースを絞って抽出したいことがあり,AWS CLI の resourcegroupstaggingapi を使ってみました.この記事でまとめます. 背景 そもそもこの対応をする必要があったかをまとめておきます.今回は,リソース管理の観点で,特定タグが付…

AWS WAF のスコープダウンステートメントを使ってブロックされたリクエストを通す

タダです. AWS WAF のマネージドルールを運用していると,これまではブロックされなかったアクセスがブロックされる経験があります.その中にはアクセスを通したいリクエストもあったりするのですが,ルールを緩めずにアクセスを通したいと思い,スコープダウン…

Reusable workflows に Terraform 実行に必要な Secrets を渡す

タダです. GitHub Actions の Reusable workflows を使って,terraform plan をすることがあったのですが,その際に GitHub Actions に設定した Secrets を渡す必要がありました.他にも Reusable workflows を使う Actions はあるため,Secrets が渡されたとき…

AWS リソース名につけられる文字数を調べたのでサービス毎にまとめる

AWS

タダです. AWS リソースを作る時に遭遇する1つの課題がリソース名で使える文字数があります.調べた範囲になりますが,この記事でサービス毎に利用できるリソース名の文字数をまとめます 調べたサービスと制限まとめ まとめ 調べたサービスと制限まとめ EC2 25…

ALB アクセスログの格納時の暗号化は KMS カスタマキーで行えるのか?

タダです. ALB のアクセスログを暗号化する時にドキュメントでは SSE-S3 がサポートされていると書いているが,実際 KMS のカスタマーキーではできないかを調べて見る機会があり,その備忘録をこの記事にまとめます. サポートされている唯一のサーバー側の暗号…

ecspresso をローカルにインストールして ECS デプロイをやってみる

タダです. 業務で ecspresso の利用検討の機会が出てきて触ったことがなかったので,この記事でローカルにツールのインストールとローカルから ECS デプロイをするまでにやったことを備忘録としてまとめます.なお,本記事の備忘録の内容は ecspresso ハンドブ…

Terraform で IAM Identity Center のインラインポリシーを設定した

タダです. IAM Identity Center(旧 AWS SSO)でカスタムポリシーを Terraform で設定したので備忘録でこの記事にまとめます. Terraform のコード 参考ドキュメント 生成されたポリシー まとめ Terraform のコード 読み取り権限として ViewOnlyAccess ポリシー…

AWS CLI で cron イベントのあるイベント名と cron 詳細を抽出する

タダです. EvnetBridge の cron で設定しているイベントを洗い出したいと思って,AWS CLI を使ってやってみたので備忘録でまとめます. 試したコマンド EventBridge に設定してるイベントは list-rules で確認できるため,このコマンドを使いました.加えて cron…

Amazon OpenSearch Service のデータノードを Gravition にスペックアップする

AWS

タダです. AWS OpenSearch Service のデータノードで Graviton のタイプに変更しようと思い,気付きもあったため検証した内容をまとめます. Graviton インスタンスタイプへの変更 まとめ Graviton インスタンスタイプへの変更 経緯としてはデータノードが t3 …

AWS WAF で特定条件でブロックされたリクエストの発生でアラートを飛ばす

タダです. AWS WAF のログを Datadog に送って運用している中で,特定条件でブロックされたリクエストがあったらアラートを飛ばしたいとなり,Terraform でコード化したのでこの記事でまとめます. 特定条件について Datadog のモニター設定 まとめ 特定条件に…

Datadog の APM をローカルから利用する

タダです. Datadog の APM を試したいと思いやったことをこの記事に備忘録としてまとめます. ローカルで APM を試す トレースのためのコードを埋める まとめ ローカルで APM を試す ローカルから APM を試すことでトレーシングできるかを確認したいと思い,do…