タダです. 業務で MySQL で扱っていたクエリをAthena で使えるように変換しながら利用者のサポートしていて UNIXTIME の扱いでハマったので Athena でどのように対応したかをメモとしてまとめておきます. 1, UNIXTIME を JST に変換して使いたいケースのクエ…

タダです. 業務でいろんな部署の人に Athena の実行ユーザーを提供して分析業務を行ってもらっているのですが,そのために IAM ポリシーと Athena 側での設定でハマったことをまとめておきます. IAM ポリシーでハマったこと Athena の設定でハマったこと まと…

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…

タダです. 業務で使う PC を変えたのでそのセットアップを勉強の一環で Ansible でやってみました.セットアップしたのは次のマシンです.今回は備忘録として行った内容を記事に書いていきます. Macbook Pro 2020 Mac OS X Catalina 10.15.6 準備 定義ファイル…