タダです.

2/25 開催のコネヒトさんのイベント『コネヒトマルシェオンライン「機械学習・データ分析」』で LT 発表させてもらいました.5分の発表だったので発表中に触れられなかった話をこの記事で書いていきたいと思います.

発表資料
発表の振り返り
まとめ

発表資料

発表資料はこちらです.

発表の振り返り

発表は以前の AWS DevDay Online で発表していたものをアップデートした内容なんですが,当時は改善をし始めたばかりの頃であまり運用での課題はでていませんでした.Athena でのデータ分析業務を回せるかをやってみたものの変数が使えないことがネックで書き直しのコストがあがって分析業務が回らなかったり,当時 Athena の利用するための専用ツールを入れてなかったため非エンジニアの学習コストが高くなり,メンバーのフォローも足りず結局使われなくなっていきました.

そこで,①データ分析業務における Athena の課題を潰しつつ,②様々なデータソースに対応した非エンジニアも使えるツールを導入していけないかと検討しました.結果として①Athena -> BigQuery への置き換え,②redash の導入をしていきました.特に redash をいれたのにはもう1つ理由があり,個々人で管理している SQL や閲覧が必要なデータを redash 上に集約して全員が見える状態にしていくのを目指しました.これでredash を中心にして社内のチームで見るデータを集約し,全員の視線を集めデータドリブンな動きがしやすくなるような形を目指していきます.

ただ,複雑なクエリを実行したら他のクエリが実行されずに詰まったり,今は EC2 1台で運用しているので可用性も低いです.社内での redash 活用が広がってきたのでこれらの課題はなんとかしていきます.

SQL 勉強会も非エンジニアの方々も興味持ってくれて参加率が高いので,内容もなるべく実務につながるよう実業務で使っているデータを使った演習を組み込んで毎週開催しています.演習の正答率をみたり,業務での SQL 周りの困り事をできる限り解消して勉強会を通じて狙った効果の実現をやってきます.

SQL 勉強会のモチベーションは Mackerel CRE を担当されている吉田さんにインスパイアされています.先日の OSO 2020 の発表も組織内でのデータ活用をしていく活動はとても良かったのでみてない方は一度ご覧ください! www.yasuhisay.info