タダです. 前回記事でOpenSearch Serverless のダッシュボードアクセスを Azure AD のエンタープライズアプリケーションに登録したユーザーを使って行いました.今回はグループで行ってみます. sadayoshi-tada.hatenablog.com Azure AD 側の設定 OpenSearch S…

タダです. OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行うのを試してみたのでこの記事にまとめます. OpenSearch Serverless の ダッシュボードアクセス方法 Azure AD 側の設定 OpenSearch Serverless 側の設定 ネットワーク…

タダです. AWS Cost Usage Report を BigQuery に入れて可視化したいと思い,Locker Studio を使うことにしました.この記事では BigQuery に Cost Usage Report をアップロードして Locker Studio で可視化します. BigQuery に AWS Cost Usage Report をアッ…

タダです. AWS のアカウントで Config のコストが一時期は月間数10ドルほどの課金だったのが膨れ上がって1000ドル以上になったことがあり,さすがに削減を試みることにしました.やってみたことをまとめます. コスト高騰の状況と詳細確認 関連記事 コスト高騰…

タダです. 先日 GA した OpenSearch Serverless を検証する機会があり,そのために AWS CLI で構築作業をやったのでそこで学んだことをこの記事にまとめます.なお,やることのベースは下記ドキュメントを参考にしています. docs.aws.amazon.com OpenSearch Ser…

タダです. 1Password の CLI ツールが有ることを知り,更に 1Password Shell Plugins というのを知って使ってみたことをこの記事にまとめていきます. developer.1password.com 1Password CLI のインストール 要件 インストール作業 初期セットアップ 参考情報…

タダです. 前回 Athena で Aurora 監査ログをクエリする記事を書きました.,毎回 Athena のクエリをアドホックに実行するのでもいいですが,特定のイベントを契機に定期的に Athena を実行するワークフローを構築して定期チェックできるようにしました.この記…

タダです. 過去記事で Aurora のログを S3 に格納することを書きました.S3 にログを格納したら検索して分析したくなりますが,この記事では監査ログの中から管理者ユーザーの利用履歴を検索してみます. sadayoshi-tada.hatenablog.com 前提 テーブル作成 関連…

タダです. Terraform で Aurora のインスタンスタイプを変更しようとした時に terraform apply は成功しているが,Aurora のインスタンスタイプが変更されてなかった場面に遭遇したので対処をまとめておきます. 事象概要 本事象の対応まとめ 関連情報 まとめ …

タダです. RDS ログを S3 にアップロードする Python スクリプトを ECS で実行に向けての記事や運用時に遭遇した気づきを書いたのですが,この記事でも運用し続けてみて発生した課題に対する対策をまとめていきます. 運用してみての課題 課題に対する対策 差…

タダです. SQS で非同期処理を作ろうとするときにセットで非同期処理をリトライできるようにデッドレターキューを作ることがあると思います.Terraform でデッドレターキューを作る時にハマったことがあり,その経験から次にこうすれば Terraform でデッドレタ…

タダです. 前回の記事で RDS ログを S3 にアップロードする処理を ECS で定期実行するように運用し始めました.運用し始めて遭遇した気づきがあり,そのことについて本記事で書いていきます. sadayoshi-tada.hatenablog.com 運用し始めて発生した事象 原因調査…

タダです. 前回記事で RDS ログを S3 にアップロードする Python スクリプトを Docker で動作するようにしました.今回は GitHub Actions でコンテナイメージを ECR に格納し,EventBridge Scheduler で ECS Runtask を実行するようにしてきます. sadayoshi-ta…

タダです. 前回の記事で RDS ログをダウンロードする Python スクリプトを作った記事を書きました.今回の記事はで Python スクリプトに S3 アップロードする処理を追加したものを ECS 上で動かすためにローカルで Docker イメージにし,ローカル実行をしてみ…

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウ…

タダです. AWS Backup でバックアップジョブを実行した時にジョブが失敗したら通知したいと思い,AWS Chatbot を通じて Slack 通知したので,その設定をこの記事に記載します. AWS Backup ジョブの失敗通知設定方法 EventBridge でジョブのステートをチェック…

タダです. 先日,Lambda と EventBridge Scheduler を使ってパラメーターを渡した処理の実行を試してみました.今度は受け取ったパラメーターを使って POST リクエストを特定のエンドポイントに向かって定期実行する処理を試してみたので,この記事でやったこと…

タダです. Datadog の AWS インテグレーションでメトリクスを収集することをやっていたのですが,SageMaker のエンドポイントを収集できない課題があり,カスタムメトリクスを使っていました.ただ,CloudWatch の GetMetricData API のコストが高くなっているた…

タダです. AWS の IAM ロールとポリシーがどのような関係になっているかを描画するツールを調べた時に,Cartography を使う機会があったのでこの記事で試した内容をまとめていきます. Cartography とは Cartography のセットアップ Cartography を使って AWS …

タダです. 昨年末に EventBridge の新機能で EventBridge Scheduler がでました.この機能を使って Lambda にパラメーターを渡して実行してみます. aws.amazon.com EventBridge Scheduler とは EventBridge Scheduler で実行する Lambda の準備 Terraform で …

タダです. AWS Lambda を Go で書くことを久々にやっていると,そもそも初歩的なミスでコードを実行するとことまで至るのに時間がかかってしまいました.そのため,備忘録的に何をしたのかをまとめていきます. ハンドラーの指定 ローカル環境が M1 で発生したエ…

タダです. Athena のクエリ結果をダウンロードした CSV ファイルで文字化けしていました.その時の対処をまとめます. 文字化けの原因 まとめ 文字化けの原因 ダウンロード後のファイルが文字化けした原因は, クエリ結果を暗号化 の選択で CSE_KMS を選択して…

タダです. KMS を利用して暗号化や復号化をしている IAM ロールを調査しようと思い,CloudTrail のログから Athena で抽出するクエリを書くことがありました.この記事で備忘録としてまとめます. 抽出用のクエリ 抽出結果 まとめ 抽出用のクエリ 抽出するため…

タダです. AWS のマルチアカウント運用を行っていると,各システムアカウントのログをログ管理用アカウントに集約して管理することがあると思います.今回はログ集約アカウント(この記事ではアカウント B とします)に対して別の AWS アカウント(こちらはアカウ…

タダです. CloudFront でホスティングしているサイトのレスポンスにセキュリティヘッダーをつける対応を行ったので,その備忘録を残しておきます. CloudFront のセキュリティヘッダーとは セキュリティヘッダーを追加してみる セキュリティヘッダーのポリシー…

タダです. Route53 でレコードを管理している AWS アカウント Aと ACM を発行して ALB や CloudFront に使う AWS アカウント B が別れている場合,ACM の DNS 認証で証明書を有効化できるかというのを確認したので備忘録として残しておきます. ACM の発行の作…

タダです. EventBridge をスケジューラーとしてばかり使ってきたのですが,カスタムイベントパターンを使う機会がでてきました.調べたところ EventBridge にはテストイベントを使えるから試してみたので備忘録で小ネタとして残します. テストイベントコマンド…

タダです. RDS MySQL でのユーザーやデーターベース管理を Terraform でやりたいと思い,MySQL Provider を使ってみたのでこの記事にまとめていきます. MySQL Provider について Provider の設定 terraform plan/apply の実行 Terraform の定義 GitHub Action…

タダです. RDS の IAM 認証をする時に言われてみれば試したことなかったことを経験したので備忘録でまとめます. sadayoshi-tada.hatenablog.com sadayoshi-tada.hatenablog.com 概要 Aurora Serverless に接続するために IAM 認証を使うことにしたのですが,…

タダです. Aurora Serveless V2 で管理者ユーザーと同等の権限を持つ DB ユーザーを作りたいと思い, GRANT ALL PRIVILEGES でユーザーに権限を付与しようとしたら実行ができないことを知りました.この記事ではどのように対応したのかをまとめます. 事象の概…