継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

2023-01-01から1年間の記事一覧

OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行う~ユーザー編~

タダです. OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行うのを試してみたのでこの記事にまとめます. OpenSearch Serverless の ダッシュボードアクセス方法 Azure AD 側の設定 OpenSearch Serverless 側の設定 ネットワーク…

AWS Cost Usage Report を BigQuery に入れて Locker Studio で可視化する

タダです. AWS Cost Usage Report を BigQuery に入れて可視化したいと思い,Locker Studio を使うことにしました.この記事では BigQuery に Cost Usage Report をアップロードして Locker Studio で可視化します. BigQuery に AWS Cost Usage Report をアッ…

AWS Config のコスト削減をしていくためにやってみたことをまとめる

タダです. AWS のアカウントで Config のコストが一時期は月間数10ドルほどの課金だったのが膨れ上がって1000ドル以上になったことがあり,さすがに削減を試みることにしました.やってみたことをまとめます. コスト高騰の状況と詳細確認 関連記事 コスト高騰…

VPC 内で起動する OpenSearch Serverless を AWS CLI で構築する

タダです. 先日 GA した OpenSearch Serverless を検証する機会があり,そのために AWS CLI で構築作業をやったのでそこで学んだことをこの記事にまとめます.なお,やることのベースは下記ドキュメントを参考にしています. docs.aws.amazon.com OpenSearch Ser…

1Password の 1Password Shell Plugins を使って AWS CLI を操作する

タダです. 1Password の CLI ツールが有ることを知り,更に 1Password Shell Plugins というのを知って使ってみたことをこの記事にまとめていきます. developer.1password.com 1Password CLI のインストール 要件 インストール作業 初期セットアップ 参考情報…

EventBridge Rules で指定した ECS タスクのイベントをトリガーに Step Functions から Athena にクエリを実行する

タダです. 前回 Athena で Aurora 監査ログをクエリする記事を書きました.,毎回 Athena のクエリをアドホックに実行するのでもいいですが,特定のイベントを契機に定期的に Athena を実行するワークフローを構築して定期チェックできるようにしました.この記…

S3 に入れた Aurora の監査ログを Athena でクエリを行う

タダです. 過去記事で Aurora のログを S3 に格納することを書きました.S3 にログを格納したら検索して分析したくなりますが,この記事では監査ログの中から管理者ユーザーの利用履歴を検索してみます. sadayoshi-tada.hatenablog.com 前提 テーブル作成 関連…

Terraform で Aurora のインスタンスタイプを変更しようとしたら反映されなかった時の対応

タダです. Terraform で Aurora のインスタンスタイプを変更しようとした時に terraform apply は成功しているが,Aurora のインスタンスタイプが変更されてなかった場面に遭遇したので対処をまとめておきます. 事象概要 本事象の対応まとめ 関連情報 まとめ …

Terraform を使って Azure のリソースグループを作る

タダです. Azure を触る機会が増えそうかつ Terraform を使った管理をする必要があるため,備忘録としてこの記事では Azure のリソースグループを Terraform で作ってみた内容をまとめていきます. 事前準備 関連情報 リソースグループ作成のコード作成と適用 …

RDS ログを S3 にアップロードの定期実行で運用中に発生した課題への対策をまとめる

タダです. RDS ログを S3 にアップロードする Python スクリプトを ECS で実行に向けての記事や運用時に遭遇した気づきを書いたのですが,この記事でも運用し続けてみて発生した課題に対する対策をまとめていきます. 運用してみての課題 課題に対する対策 差…

プライベートリポジトリの reusable workflows を共有して使う

タダです. 以前の記事でプライベートリポジトリにある自作の Actions を使う記事を書きました.この記事では同様にプライベートリポジトリにある reusable workflows を使うというのをやってみたので記事にします. sadayoshi-tada.hatenablog.com reusable wo…

Terraform で SQS のメインキューとデッドレターキューを同時に作成する時ハマったことと解決策をまとめる

タダです. SQS で非同期処理を作ろうとするときにセットで非同期処理をリトライできるようにデッドレターキューを作ることがあると思います.Terraform でデッドレターキューを作る時にハマったことがあり,その経験から次にこうすれば Terraform でデッドレタ…

DownloadCompleteLogFile を定期実行した時に遭遇した事象についてまとめる

タダです. 前回の記事で RDS ログを S3 にアップロードする処理を ECS で定期実行するように運用し始めました.運用し始めて遭遇した気づきがあり,そのことについて本記事で書いていきます. sadayoshi-tada.hatenablog.com 運用し始めて発生した事象 原因調査…

RDS ログを S3 にアップロードする Python スクリプトを ECS で実行する

タダです. 前回記事で RDS ログを S3 にアップロードする Python スクリプトを Docker で動作するようにしました.今回は GitHub Actions でコンテナイメージを ECR に格納し,EventBridge Scheduler で ECS Runtask を実行するようにしてきます. sadayoshi-ta…

RDS ログを S3 にアップロードする Python スクリプトを Docker 上で実行する

タダです. 前回の記事で RDS ログをダウンロードする Python スクリプトを作った記事を書きました.今回の記事はで Python スクリプトに S3 アップロードする処理を追加したものを ECS 上で動かすためにローカルで Docker イメージにし,ローカル実行をしてみ…

Python で RDS に格納されている各種ログをダウンロードする

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウ…

AWS Backup のバックアップジョブ失敗を Slack に通知する

タダです. AWS Backup でバックアップジョブを実行した時にジョブが失敗したら通知したいと思い,AWS Chatbot を通じて Slack 通知したので,その設定をこの記事に記載します. AWS Backup ジョブの失敗通知設定方法 EventBridge でジョブのステートをチェック…

Lambda と EventBridge でリクエストを投げる定期処理を実現する

タダです. 先日,Lambda と EventBridge Scheduler を使ってパラメーターを渡した処理の実行を試してみました.今度は受け取ったパラメーターを使って POST リクエストを特定のエンドポイントに向かって定期実行する処理を試してみたので,この記事でやったこと…

静的サイトジェネレーターの『Astro』で Hello,World! のページを生成してみた

タダです. 先日下記の記事を見て,そこで初めて Astro 知って気になったので,まずは Getting Started な内容を触ってみることにしました.この記事ではまずは Hello, World! の最低限のページを表示することをやっていきます. blog.riywo.com Astro インストー…

CloudWatch Metrics Streams を使って Datadog に選択したメトリクスを送る

タダです. Datadog の AWS インテグレーションでメトリクスを収集することをやっていたのですが,SageMaker のエンドポイントを収集できない課題があり,カスタムメトリクスを使っていました.ただ,CloudWatch の GetMetricData API のコストが高くなっているた…

様々なインフラストラクチャの描画ツールである 『Cartography』 を使ってみた

タダです. AWS の IAM ロールとポリシーがどのような関係になっているかを描画するツールを調べた時に,Cartography を使う機会があったのでこの記事で試した内容をまとめていきます. Cartography とは Cartography のセットアップ Cartography を使って AWS …

EventBridge Scheduler で Lambda にパラメーターを渡してスケジュール実行する

タダです. 昨年末に EventBridge の新機能で EventBridge Scheduler がでました.この機能を使って Lambda にパラメーターを渡して実行してみます. aws.amazon.com EventBridge Scheduler とは EventBridge Scheduler で実行する Lambda の準備 Terraform で …