タダです. 前回 DuckDB で CloudTrail ログを分析してみました.今回は ALB のアクセスログを分析してみます. sadayoshi-tada.hatenablog.com sadayoshi-tada.hatenablog.com ALB アクセスログのテーブルを作る こちらの記事を参照させていただいてテーブルを…

タダです. 前回 DuckDB CLI をセットアップしました.今回は CloudTrail ログを分析してみます. sadayoshi-tada.hatenablog.com S3 に入っているログからテーブルを作る こちらの記事を参照させていただいてテーブルを作ってみました. D CREATE TABLE trail_l…

タダです. 今年に入って DuckDB というワードを X やブログ記事を見かける体感が自分の中であり,この期に試してみたいと思っていくつかの記事で試した内容をまとめます.この記事では DuckDB の概要とローカルで実行する準備をします. DuckDB とは DuckDB の…

タダです. Aurora のバックアップを日次と月次で分けて AWS Backup で保持する設定を行ったので,備忘録としてまとめます. 日次と月次のバックアップジョブ 結論として日次と月次のバックアップジョブを分けて作りました.以下は日次で14日間まで保持するバッ…

タダです. ECR のライフサイクルを使用して不要なコンテナイメージを削除する運用をしていて,特定の ECS タスクで使用していたコンテナイメージを削除してしまってタスクの起動が失敗する事象が発生しました.本件の再発防止を検討する際 CLI ツールの ecrm …

タダです. 既存の ECS サービスが ALB のターゲットグループに1つだけ関連付けられて稼働している状況で,もう1つターゲットグループを関連付けて2つのターゲットグループからリクエストを受けられる状態を作りたい時がありました.その時に AWS CLI を使って…

タダです. ECS 関連アップデートでデプロイ状況を確認できる API のサポートが発表されました.普段デプロイの際はコンソールで確認を行っていたのでその手間が一定解消されそうだと思い,どんな確認が取れるのかを手元で CLI を試してみます. aws.amazon.com …

タダです. SRE NEXT 2024で以前インターンに来ていたメンバーと再開したのをきっかけに初めてイベント企画・運営に携わりました.10/30にイベントが無事終了しました.参加いただいたみなさん,ありがとうございました！自分もイベントで登壇したのでこの記事で…

タダです. 先日 Aurora MySQL バージョン3 で sql_mode を確認する機会がありました.そこでの学びをまとめておきます. 結論: デフォルトでは sql_mode は何も設定されていない 結論ですが,デフォルトでは sql_mode は何も設定されていない状態です. 何も変更…

タダです. 以前の記事で S3 に格納した Aurora MySQL の監査ログを Athena で検索するためにテーブルを作り,管理者ユーザーのアクセスを検索したことを記事にしました.今回も関連で Aurora への書き込み操作を監査ログから検索する時に使用したクエリを備忘…

タダです. DB マイグレーションなどで ALTER TABLE ステートメントを実行する機会は多いと思いますが,自分は ALGORITHM 指定した実行形式を意識して使ったことがこれまでありませんでした.今回実行形式に触れる機会があったので学んだメモをまとめます. ALTE…

タダです. CloudFront の標準アクセスログを Athena を使って調査をした時があり,初めてやったためその時に使用したクエリをまとめます.なお,Athena のテーブルはドキュメントに記載のテーブル定義で作成している前提になります. docs.aws.amazon.com 調査時…

タダです. terraform-aws-provider 5.68.0 で以下の引用文にあるように aws_iam_role にて inline_policy を使用するのが非推奨になり aws_iam_role_policy が代替先になりました.この記事では,そのリソースの改修を行った備忘録を書きます. resource/aws_ia…

タダです. OpenSearch Serverless のリソースを Terraform の管理下に置くためにインポートを行いました.一部自分の勘違いでハマったことがあったのでそこからの学びをこの記事でまとめます.なお,本記事で使用する hashicorp/aws のプロバイダーバージョンは…

タダです. Aurora MySQL 互換バージョン3での一時テーブルの挙動について整理したいと思い,以下の記事及びドキュメントを読みながら学んだ内容をまとめます. aws.amazon.com 一時テーブルについて MySQL では.8.0 より前は一時テーブルのデフォルトストレー…

タダです. MySQL で実行されているプロセスを確認するときは SHOW PROCESSLIST を叩いて確認してきました.MySQL8 のドキュメントを見ていると別の方法で確認する方法を知ったのでこの記事でまとめます. SHOW PROCESSLIST の代替テーブル さて本題ですが,SHOW…

タダです. Aurora MySQL 5.7 のサポート期限が迫っており,順次 MySQL 8.0 に移行中です.そんな折に 5.7 では使用できていたロック情報の確認テーブルが 8.0 で使用できなくなっていました.この記事ではどのテーブルが変更になっていたかをまとめていきます. …

タダです. 前回ローカルで Dify を起動してみました.簡単なアプリを作ってみます. sadayoshi-tada.hatenablog.com Dify のテンプレートから作る Dify では LLM アプリのテンプレートが用意されているので Knowledge Retreival + Chatbot を使って作ります. …

タダです. ずっと気になっていた Dify を触っていきたいと思ってローカルでいじれるようにしていきます. Dify とは Dify はオープンソースの LLM アプリ開発プラットフォームです.特徴としてユーザーはドラッグ&ドロップでアプリケーションを構築できます.こ…

タダです. 8/3~4にかけての開催の SRE NEXT 2024 の2日目に参加したので,この記事で簡単に感想をまとめます. sre-next.dev 初日の参加レポート sadayoshi-tada.hatenablog.com セッションの感想 プロダクトのスケールによって顕在化しうるリスクをどう管理す…

タダです. 8/3~4にかけての開催の SRE NEXT 2024 の初日に参加したので,この記事で簡単に感想をまとめます. sre-next.dev セッションの感想 Becoming SRE - SREって何から始めればいいの？ - ①、② DevSecOpsの内回りと外回りで考える持続可能なセキュリティ…

タダです. VPC フローログのフィールドに ECS サービスに関するフィールドが追加されました.これまで調査の時は ECS の IP アドレスから問題を調べることしかできなかったため,問題の調査がしやすくなります.この記事では VPC フローログに新たに追加された…

タダです. 以下の記事を書きました.今回はこれらの記事でやっていることを1つのワークフローで実現するために行ったことをまとめます.つまり,時限式で Aurora を削除する際に合わせて Bytebase API を叩いて普段手動で触っているオペレーションを自動化しま…

タダです. 吉祥寺.pm に友達が参加してたので,ずっと気になってまして今回初めて大吉祥寺.pm に参加してきたので感想を書きます. kichijojipm.connpass.com 発表ごとの感想まとめ 基調講演 発表資料 多様性の時代を生き抜くキャリアプランニング 発表資料 開…

タダです. AWS CloudShell(以下 CloudShell)で VPC 内で利用が可能なりました.このアップデートで踏み台サーバをなくせるのではと思ってどんなことができるのかや制約をこの記事でまとめます. aws.amazon.com CloudShell VPC 環境でできること/制約 実際に起…

タダです. 数年ぶりに迫ってきた RDS と Aurora の SSL/TLS 接続で使用する証明書の入れ替えが東京リージョンは 2024/08/22 期限となっています.今回の証明書の入れ替えにあたって利用している Aurora で証明書入れ替え時に再起動が発生するのか,どの証明書…

タダです. 前回の記事で Bytebase の API を実行するコマンドを紹介しました.この記事ではローカルから curl で実行していたのですが,自動化して実行できるように Step Functions のサードパーティ API 実行を試してみます. sadayoshi-tada.hatenablog.com S…

タダです. Bytebase を使っていて手動オペレーションの中でいわゆるトイルになってしまって運用上負担になってしまう状況を改善したいと思い,API を使ってみることにしました.この記事では Bytebase の API を使用するための事前準備,認証,特定のエンドポイ…

タダです. Aurora を複製時に EventBridge ルールで特定 Aurora クラスターと DB インスタンスの作成タイミングを検知して Step Functions に処理させたいと思って,EventBridge ルールでワイルドカードを使ってみたので備忘録にまとめます. EventBridge ルー…

タダです. 前回の記事で時限式の Aurora Clone の削除を Step Functions で試した記事を書きました.今回の記事ではその関連として Aurora を削除するときのパラメーターで渡す際に意図したインプットを次のステートに引き継げるようバリデーションを設けてみ…