タダです. Pinpoint でメールの配信をやっている中で,送った後のメールの開封状況とかを保管し,分析したいという要望からデータ収集の仕組みの検証をしたのでまとめていきます. Pinpoint のメール開封イベントの収集 Pinpoint -> Kinesis Data Streams の設…

タダです. 2/25 開催のコネヒトさんのイベント『コネヒトマルシェオンライン「機械学習・データ分析」』で LT 発表させてもらいました.5分の発表だったので発表中に触れられなかった話をこの記事で書いていきたいと思います. connehito.connpass.com 発表資…

タダです. データの可視化を redash で実現する中で特定のデータが閾値に達した時に Slack に通知して欲しいといった要件があり,redash のアラート機能をその要件に合うものかを検証してみたのでこの記事に検証した内容を整理してきます. 検証で使った環境 r…

タダです. 10/21 に AWS DevDay Online Japan にて「データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み」と題して登壇させていただきました.この記事で登壇資料と登壇を振り返りをしていきます. aws.amazon.com 登壇資料 今回の登壇の振…

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…

タダです. 前回「Data Engineering Study #1 」に続き「Data Engineering Study #2 」が開催されたので参加してきました.今回の記事では発表を聞いて感じたことやメモをとった内容をまとめていきます. forkwell.connpass.com イベント概要 第1回勉強会では「…

タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門作者…

タダです. QuickSight のハンズオンを試してみて,やっぱりオープンデータを使って自分なりに可視化してみたい！と思ったので東京都が公開している新型コロナウイルス関連のデータを可視化してみます. stopcovid19.metro.tokyo.lg.jp 可視化対象のデータセッ…

タダです. クラウドサービスの活用が増えていく中で企業の扱うデータは増えていって,そのデータを活用できるかって企業活動においてすごく大事だと感じてデータ分析に興味を持ったのですが,データ分析基盤の勉強会「Data Engineering Study #1 」が開催され…

xタダです. 先日,Amazon AppFlow がリリースされました.このサービスは,SaaS と AWS へのデータフローをコーディングなしに自動化できます.AppFlow を使って S3 へデータをアップロードしてしまえば Athena や QuickSight で分析に使うことができます。この…

タダです. この記事は,データ分析人材のキャリア（データラーニングギルド）アドベントカレンダーの11日目の記事になります.先月からオンラインサロンの「データラーニングギルド」に参加させてもらっているのですが,今回は参加した経緯と来年の活動予定(抱…