継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

Athena

CloudFront の標準アクセスログを Athena で調査した時に使用したクエリメモ✍

タダです. CloudFront の標準アクセスログを Athena を使って調査をした時があり,初めてやったためその時に使用したクエリをまとめます.なお,Athena のテーブルはドキュメントに記載のテーブル定義で作成している前提になります. docs.aws.amazon.com 調査時…

EventBridge Rules で指定した ECS タスクのイベントをトリガーに Step Functions から Athena にクエリを実行する

タダです. 前回 Athena で Aurora 監査ログをクエリする記事を書きました.,毎回 Athena のクエリをアドホックに実行するのでもいいですが,特定のイベントを契機に定期的に Athena を実行するワークフローを構築して定期チェックできるようにしました.この記…

Athena のクエリ結果をダウンロードした CSV が文字化けした時の対処

タダです. Athena のクエリ結果をダウンロードした CSV ファイルで文字化けしていました.その時の対処をまとめます. 文字化けの原因 まとめ 文字化けの原因 ダウンロード後のファイルが文字化けした原因は, クエリ結果を暗号化 の選択で CSE_KMS を選択して…

KMS を利用をしている IAM ロールを抽出する

タダです. KMS を利用して暗号化や復号化をしている IAM ロールを調査しようと思い,CloudTrail のログから Athena で抽出するクエリを書くことがありました.この記事で備忘録としてまとめます. 抽出用のクエリ 抽出結果 まとめ 抽出用のクエリ 抽出するため…

アカウント跨ぎでの CloudTrail のログを Athena で検索する

タダです. AWS のマルチアカウント運用を行っていると,各システムアカウントのログをログ管理用アカウントに集約して管理することがあると思います.今回はログ集約アカウント(この記事ではアカウント B とします)に対して別の AWS アカウント(こちらはアカウ…

FireLens からログだけ Lambda を使って抽出し,Athena でクエリする

タダです. ECS に乗っているコンテナのログを FireLens を経由して Kinesis Firehose -> S3 にログを出しました.ただ,下記の JSON 形式でログが保存されているため,Athena でクエリしようとするとしてもログの詳細を見る時辛いなと思っていました. { "contai…

【Athena の躓きシリーズ】Athena で MySQL の UNIXTIME を扱うクエリを変換した時にハマったこと

タダです. 業務で MySQL で扱っていたクエリをAthena で使えるように変換しながら利用者のサポートしていて UNIXTIME の扱いでハマったので Athena でどのように対応したかをメモとしてまとめておきます. 1, UNIXTIME を JST に変換して使いたいケースのクエ…

【Athena の躓きシリーズ】Athena 専用ユーザーを払い出してクエリを叩けるまでにハマったこと

タダです. 業務でいろんな部署の人に Athena の実行ユーザーを提供して分析業務を行ってもらっているのですが,そのために IAM ポリシーと Athena 側での設定でハマったことをまとめておきます. IAM ポリシーでハマったこと Athena の設定でハマったこと まと…

【Athena の躓きシリーズ】CloudTrail ログの中から API コール数を集計する Athena のクエリ

タダです. 業務で Athena を使ったログ解析で詰まったことがあったら都度記事にクエリの結果とその対処をまとめるシリーズをやってます.今回は CloudTrail ログの中から特定の API コール数がどこから発信されているかを確認する必要があった時の学びをこの…

【Athena の躓きシリーズ】CloudTrail の構造体データが入った配列に対する Athena のクエリ

タダです. 業務で Athena を使って S3 のデータを分析・解析することはよくあると思うのですが,CloudTrail の中でも構造体のデータを扱いたい時に欲しいデータの取り出しで詰まったのでこの記事でその対処をまとめます. CloudTrail 用テーブル作成 構造体の…