継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

1Password に SSH 鍵を登録して GitHub の操作を行うようにする

タダです. 以前の記事で 1Passowrd Shell Plugins を使って AWS CLI を使う記事を書きました.この記事では GitHub の操作を行うための鍵を登録してみます. sadayoshi-tada.hatenablog.com 1Password で GitHub の鍵を生成する 1Password SSH agent の有効化 …

k6 で GraphQL のファイルアップロードテストを行う

タダです. k6 で負荷試験を行うことがあり,GrapQL でのファイルアップロードを確認する必要がありました.この記事ではファイルアップロードで k6 で実施する時に使ったツールやドキュメントをまとめていきます. k6 での GrapQL リクエストを行う方法 公式の…

クロスアカウントでの IAM Access Analizer を実行して Administrator の操作から IAM ポリシーを生成する

タダです. IAM Identity Center で Administrator アクセスを使うことがあると思います.しかし,組織の拡大がしてくると全員に Administrator アクセスを振ったりせず適切な権限調整を行う必要が出てきます.自分もそういった調整を行う必要が出てきた時に IAM…

Terraform で IAM Identity Center のカスタムロール追加とグループの関連付けを行う

タダです. タイトルの通り Terraform で IAM Identity Center のカスタムロール作成とロールのグループ関連付けを行う機会があり,学びもあったので記事にしていきます. Terraform のコード 関連情報 まとめ Terraform のコード 具体的なコードは下記でカスタ…

ALB のリスナーに設定した OIDC 認証の証明書を更新する

タダです. ALB のリスナーに OIDC 認証の証明書を設定して運用している中で証明書の有効期限が切れる前に更新する作業がありました.その際に,以前の証明書の更新方法と異なっていたので備忘録でこの記事でまとめます. 以前の証明書の更新方法 以前は下記の画…

AWS CLI で AWS WAF にタグを置き換え時に遭遇したエラーに対処する方法をまとめる

タダです. AWS WAF にタグを置き換えたいことがあり,UI からは変える箇所が見つけられなかったため,AWS CLI でタグを更新することをやってみました.その際に,遭遇したエラーとその対処を小ネタですが,まとめていきます. 遭遇したエラーの概要 対処の方法 ま…

AWS Cost Usage Report を定期的に Storage Transfer Service で Google Cloud Service に転送するのを Terraform で設定する

タダです. 以前の記事で AWS Cost Usage Report (以下,Cost Usage Report )を BigQuery にロードして Locker Studio で可視化したのですが,この記事では手動オペレーションになっていた AWS -> GCS へのデータを連携する部分の仕組み化と Terrafrom としてコ…

AWS Config の変更記録を除外するリソース登録を Terraform でやってみた

タダです. 以前の記事で AWS Config でリソース変更履歴を追跡しないよう除外できるようになったのをまとめていきましたが,当時 Terraform の対応がされていませんでした.が,Terraform Provider AWS のバージョン 5.5.0 で対応されました.この記事ではリソー…

Terraform AWS Provider で初めて Provider がクラッシュする事態に遭遇した時の対処をまとめる

タダです. Terraform AWS Provider の 5.3.0,5.4.0 で OpenSearch Serverless のリソースが対応するようになりました.そこでリソースを作ってみた後, terraform plan を実行した時に Error: The terraform-provider-aws_v5.4.0_x5 plugin crashed! とメッセ…

CloudFront のアクセスログが S3 に出てない時に対処したことをまとめる

タダです. CloudFront でアクセスログを設定しているのに S3 にログがない...? って思ったことありませんか?自分はあります.ログがないと調査や分析ができなくなってしまって手詰まりになるってことにもなるため,そんな時に対処したことをまとめていきます.…

AWS Config のリソース追跡を除外するアップデートが有効なリージョンを調査した

タダです. AWS Config でリソース変更履歴を追跡しないよう除外できるようになりました.これまでは変更を記録するリソースから除外したいリソースを抜いてあげる必要がありましたが,今回のアップデートで明示的に指定すれば除外してくれるようになりました.…

OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行う~グループ編~

タダです. 前回記事でOpenSearch Serverless のダッシュボードアクセスを Azure AD のエンタープライズアプリケーションに登録したユーザーを使って行いました.今回はグループで行ってみます. sadayoshi-tada.hatenablog.com Azure AD 側の設定 OpenSearch S…

OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行う~ユーザー編~

タダです. OpenSearch Serverless のダッシュボードアクセスを Azure AD の SAML 経由で行うのを試してみたのでこの記事にまとめます. OpenSearch Serverless の ダッシュボードアクセス方法 Azure AD 側の設定 OpenSearch Serverless 側の設定 ネットワーク…

AWS Cost Usage Report を BigQuery に入れて Locker Studio で可視化する

タダです. AWS Cost Usage Report を BigQuery に入れて可視化したいと思い,Locker Studio を使うことにしました.この記事では BigQuery に Cost Usage Report をアップロードして Locker Studio で可視化します. BigQuery に AWS Cost Usage Report をアッ…

AWS Config のコスト削減をしていくためにやってみたことをまとめる

タダです. AWS のアカウントで Config のコストが一時期は月間数10ドルほどの課金だったのが膨れ上がって1000ドル以上になったことがあり,さすがに削減を試みることにしました.やってみたことをまとめます. コスト高騰の状況と詳細確認 関連記事 コスト高騰…

VPC 内で起動する OpenSearch Serverless を AWS CLI で構築する

タダです. 先日 GA した OpenSearch Serverless を検証する機会があり,そのために AWS CLI で構築作業をやったのでそこで学んだことをこの記事にまとめます.なお,やることのベースは下記ドキュメントを参考にしています. docs.aws.amazon.com OpenSearch Ser…

1Password の 1Password Shell Plugins を使って AWS CLI を操作する

タダです. 1Password の CLI ツールが有ることを知り,更に 1Password Shell Plugins というのを知って使ってみたことをこの記事にまとめていきます. developer.1password.com 1Password CLI のインストール 要件 インストール作業 初期セットアップ 参考情報…

EventBridge Rules で指定した ECS タスクのイベントをトリガーに Step Functions から Athena にクエリを実行する

タダです. 前回 Athena で Aurora 監査ログをクエリする記事を書きました.,毎回 Athena のクエリをアドホックに実行するのでもいいですが,特定のイベントを契機に定期的に Athena を実行するワークフローを構築して定期チェックできるようにしました.この記…

S3 に入れた Aurora の監査ログを Athena でクエリを行う

タダです. 過去記事で Aurora のログを S3 に格納することを書きました.S3 にログを格納したら検索して分析したくなりますが,この記事では監査ログの中から管理者ユーザーの利用履歴を検索してみます. sadayoshi-tada.hatenablog.com 前提 テーブル作成 関連…

Terraform で Aurora のインスタンスタイプを変更しようとしたら反映されなかった時の対応

タダです. Terraform で Aurora のインスタンスタイプを変更しようとした時に terraform apply は成功しているが,Aurora のインスタンスタイプが変更されてなかった場面に遭遇したので対処をまとめておきます. 事象概要 本事象の対応まとめ 関連情報 まとめ …

Terraform を使って Azure のリソースグループを作る

タダです. Azure を触る機会が増えそうかつ Terraform を使った管理をする必要があるため,備忘録としてこの記事では Azure のリソースグループを Terraform で作ってみた内容をまとめていきます. 事前準備 関連情報 リソースグループ作成のコード作成と適用 …

RDS ログを S3 にアップロードの定期実行で運用中に発生した課題への対策をまとめる

タダです. RDS ログを S3 にアップロードする Python スクリプトを ECS で実行に向けての記事や運用時に遭遇した気づきを書いたのですが,この記事でも運用し続けてみて発生した課題に対する対策をまとめていきます. 運用してみての課題 課題に対する対策 差…

プライベートリポジトリの reusable workflows を共有して使う

タダです. 以前の記事でプライベートリポジトリにある自作の Actions を使う記事を書きました.この記事では同様にプライベートリポジトリにある reusable workflows を使うというのをやってみたので記事にします. sadayoshi-tada.hatenablog.com reusable wo…

Terraform で SQS のメインキューとデッドレターキューを同時に作成する時ハマったことと解決策をまとめる

タダです. SQS で非同期処理を作ろうとするときにセットで非同期処理をリトライできるようにデッドレターキューを作ることがあると思います.Terraform でデッドレターキューを作る時にハマったことがあり,その経験から次にこうすれば Terraform でデッドレタ…

DownloadCompleteLogFile を定期実行した時に遭遇した事象についてまとめる

タダです. 前回の記事で RDS ログを S3 にアップロードする処理を ECS で定期実行するように運用し始めました.運用し始めて遭遇した気づきがあり,そのことについて本記事で書いていきます. sadayoshi-tada.hatenablog.com 運用し始めて発生した事象 原因調査…

RDS ログを S3 にアップロードする Python スクリプトを ECS で実行する

タダです. 前回記事で RDS ログを S3 にアップロードする Python スクリプトを Docker で動作するようにしました.今回は GitHub Actions でコンテナイメージを ECR に格納し,EventBridge Scheduler で ECS Runtask を実行するようにしてきます. sadayoshi-ta…

RDS ログを S3 にアップロードする Python スクリプトを Docker 上で実行する

タダです. 前回の記事で RDS ログをダウンロードする Python スクリプトを作った記事を書きました.今回の記事はで Python スクリプトに S3 アップロードする処理を追加したものを ECS 上で動かすためにローカルで Docker イメージにし,ローカル実行をしてみ…

Python で RDS に格納されている各種ログをダウンロードする

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウ…

AWS Backup のバックアップジョブ失敗を Slack に通知する

タダです. AWS Backup でバックアップジョブを実行した時にジョブが失敗したら通知したいと思い,AWS Chatbot を通じて Slack 通知したので,その設定をこの記事に記載します. AWS Backup ジョブの失敗通知設定方法 EventBridge でジョブのステートをチェック…

Lambda と EventBridge でリクエストを投げる定期処理を実現する

タダです. 先日,Lambda と EventBridge Scheduler を使ってパラメーターを渡した処理の実行を試してみました.今度は受け取ったパラメーターを使って POST リクエストを特定のエンドポイントに向かって定期実行する処理を試してみたので,この記事でやったこと…