Athena
タダです. CloudFront の標準アクセスログを Athena を使って調査をした時があり,初めてやったためその時に使用したクエリをまとめます.なお,Athena のテーブルはドキュメントに記載のテーブル定義で作成している前提になります. docs.aws.amazon.com 調査時…
タダです. 前回 Athena で Aurora 監査ログをクエリする記事を書きました.,毎回 Athena のクエリをアドホックに実行するのでもいいですが,特定のイベントを契機に定期的に Athena を実行するワークフローを構築して定期チェックできるようにしました.この記…
タダです. Athena のクエリ結果をダウンロードした CSV ファイルで文字化けしていました.その時の対処をまとめます. 文字化けの原因 まとめ 文字化けの原因 ダウンロード後のファイルが文字化けした原因は, クエリ結果を暗号化 の選択で CSE_KMS を選択して…
タダです. KMS を利用して暗号化や復号化をしている IAM ロールを調査しようと思い,CloudTrail のログから Athena で抽出するクエリを書くことがありました.この記事で備忘録としてまとめます. 抽出用のクエリ 抽出結果 まとめ 抽出用のクエリ 抽出するため…
タダです. AWS のマルチアカウント運用を行っていると,各システムアカウントのログをログ管理用アカウントに集約して管理することがあると思います.今回はログ集約アカウント(この記事ではアカウント B とします)に対して別の AWS アカウント(こちらはアカウ…
タダです. ECS に乗っているコンテナのログを FireLens を経由して Kinesis Firehose -> S3 にログを出しました.ただ,下記の JSON 形式でログが保存されているため,Athena でクエリしようとするとしてもログの詳細を見る時辛いなと思っていました. { "contai…
タダです. 業務で MySQL で扱っていたクエリをAthena で使えるように変換しながら利用者のサポートしていて UNIXTIME の扱いでハマったので Athena でどのように対応したかをメモとしてまとめておきます. 1, UNIXTIME を JST に変換して使いたいケースのクエ…
タダです. 業務でいろんな部署の人に Athena の実行ユーザーを提供して分析業務を行ってもらっているのですが,そのために IAM ポリシーと Athena 側での設定でハマったことをまとめておきます. IAM ポリシーでハマったこと Athena の設定でハマったこと まと…
タダです. 業務で Athena を使ったログ解析で詰まったことがあったら都度記事にクエリの結果とその対処をまとめるシリーズをやってます.今回は CloudTrail ログの中から特定の API コール数がどこから発信されているかを確認する必要があった時の学びをこの…
タダです. 業務で Athena を使って S3 のデータを分析・解析することはよくあると思うのですが,CloudTrail の中でも構造体のデータを扱いたい時に欲しいデータの取り出しで詰まったのでこの記事でその対処をまとめます. CloudTrail 用テーブル作成 構造体の…
