継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

データ分析

『データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み』と題して AWS DevDay で登壇した

タダです. 10/21 に AWS DevDay Online Japan にて「データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み」と題して登壇させていただきました.この記事で登壇資料と登壇を振り返りをしていきます. aws.amazon.com 登壇資料 今回の登壇の振…

S3 に保存したデータを BigQuery に読み込ませるための方法を検証した

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…

Aurora MySQL のスナップショットから特定テーブルデータを S3 にエクスポートする

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

Aurora MySQL の特定テーブルデータを SELECT INTO OUTFILE S3 を使って S3 にエクスポートする

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…

データ分析における収集とその活用の取り組みを『Data Engineering Study #2』で聞いた

タダです. 前回「Data Engineering Study #1 」に続き「Data Engineering Study #2 」が開催されたので参加してきました.今回の記事では発表を聞いて感じたことやメモをとった内容をまとめていきます. forkwell.connpass.com イベント概要 第1回勉強会では「…

データレイクの基礎から構築と運用の視点を学べる『AWS ではじめるデータレイク』を読んだ

タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門作者…

東京都のオープンデータを使ってデータの可視化を QuickSight で実践しよう!

タダです. QuickSight のハンズオンを試してみて,やっぱりオープンデータを使って自分なりに可視化してみたい!と思ったので東京都が公開している新型コロナウイルス関連のデータを可視化してみます. stopcovid19.metro.tokyo.lg.jp 可視化対象のデータセッ…

『Data Engineering Study #1 』でデータ分析基盤の活用で必要なアクションとデータ活用の実例を聞いた

タダです. クラウドサービスの活用が増えていく中で企業の扱うデータは増えていって,そのデータを活用できるかって企業活動においてすごく大事だと感じてデータ分析に興味を持ったのですが,データ分析基盤の勉強会「Data Engineering Study #1 」が開催され…

【データ収集】AppFlow を使って Google Analytics のブログのデータを S3 にアップロードする

xタダです. 先日,Amazon AppFlow がリリースされました.このサービスは,SaaS と AWS へのデータフローをコーディングなしに自動化できます.AppFlow を使って S3 へデータをアップロードしてしまえば Athena や QuickSight で分析に使うことができます。この…

ギルド型組織「データラーニングギルド」への参加した経緯と来年の抱負

タダです. この記事は,データ分析人材のキャリア(データラーニングギルド)アドベントカレンダーの11日目の記事になります.先月からオンラインサロンの「データラーニングギルド」に参加させてもらっているのですが,今回は参加した経緯と来年の活動予定(抱…