継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

AWS

【Athena の躓きシリーズ】Athena 専用ユーザーを払い出してクエリを叩けるまでにハマったこと

タダです. 業務でいろんな部署の人に Athena の実行ユーザーを提供して分析業務を行ってもらっているのですが,そのために IAM ポリシーと Athena 側での設定でハマったことをまとめておきます. IAM ポリシーでハマったこと Athena の設定でハマったこと まと…

S3 に保存したデータを BigQuery に読み込ませるための方法を検証した

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…

Aurora MySQL のスナップショットから特定テーブルデータを S3 にエクスポートする

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

Aurora MySQL の特定テーブルデータを SELECT INTO OUTFILE S3 を使って S3 にエクスポートする

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…

機械学習の専門知識を証明する『AWS 認定 Machine Learning Speciality』の試験勉強でやったことを整理する

タダです. データ分析に興味がありその勉強の一環で,8/21 に「AWS 認定 Machine Learning Speciality」を受けて合格しました.今回は自分がどんな勉強をしたかを振り返り,今後受験される方の勉強の参考になれば嬉しいです. 試験範囲について 試験勉強で注力し…

『AWS Copilot CLI』 v0.3.0 で追加された機能を整理する

タダです. 「AWS Copilot CLI」がv0.3.0が8/14にリリースされました.v0.2.0が出たのが7/21だったので一カ月後に新しいバージョンがリリースされて開発が早いなと思います.この記事でv0.3.0のリリースノートを参照してどのような機能が追加されたかを整理して…

データレイクの基礎から構築と運用の視点を学べる『AWS ではじめるデータレイク』を読んだ

タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門作者…

Amazon の監視ダッシュボードの取り組みを学べる『Building dashboards for operational visibility』を読んだ

タダです. 新しい「Amazon Builders’ Library」の記事として「Building dashboards for operational visibility(運用の可視化のためのダッシュボードの構築)」が追加されました.このページを読んで Amazon での監視ダッシュボード構築・運用の取り組みを学ん…

『AWS Copilot』で ECS の CI/CD パイプラインをサクッと作る

タダです. 「AWS Copilot」のコマンドでcopilot pipelineからはじまるコマンドがあります.このコマンドでは,GitHub にコードをプッシュした時に CodeBuild,CodePipeline によるリリースパイプラインを作ることができます.この記事では,copilot pipelineコマ…

『AWS Coplilot CLI』の v0.2.0 でサポートされたストレージリソースのデプロイを実践する

タダです. 「AWS Coplilot CLI」がv0.2.0になった時に追加されたcopilot storage initコマンドがあります.このコマンドで S3 もしくは DynamoDB を ECS のアプリケーションと関連づけられ,デプロイする時も一緒に展開されます.今回はストレージリソースを追…

『AWS Copilot CLI』のコマンドとパラメーターから『AWS Coplilot』の理解を深める

タダです. 「AWS Copilot CLI」のコマンドとそのパラメーターでまだまだ知らないことが多いのでこの記事でコマンドとパラメーターを確認して,「AWS Copilot」の理解を深めたいと思います. 参照したドキュメント github.com なお,CLI のバージョンは 0.4.0 で…

東京都のオープンデータを使ってデータの可視化を QuickSight で実践しよう!

タダです. QuickSight のハンズオンを試してみて,やっぱりオープンデータを使って自分なりに可視化してみたい!と思ったので東京都が公開している新型コロナウイルス関連のデータを可視化してみます. stopcovid19.metro.tokyo.lg.jp 可視化対象のデータセッ…

AWS CDK アプリケーションの継続的デプロイメントを実装する『CDK Pipeline』を実践した

タダです. 現在プレビュー版ではありますが,AWS CDK アプリケーションの継続的デプロイメントを行う「CDK Pipeline」の記事が出ていたので記事を参考にこの機能を試してみました.記事を通してどんな実装を試せるのか,試してみての所感をまとめていきます. 日…

データを可視化する QuickSight に入門しよう!『セルフBIサービス・販売管理ダッシュボード編』の紹介

タダです. 前回「Basic ハンズオン編」を終えたので今回は,「セルフBIサービス・販売管理ダッシュボード編」を取り組んでみたので学べることやハンズオンでどんな風にデータを可視化できるかをまとめていきます. sadayoshi-tada.hatenablog.com ハンズオン概…

コンテナの環境構築とデプロイをサポートする『AWS Copilot』の概念や用語を理解する

タダです. 前回「Copilot CLI」の導入と Get Started の記事を書きました. sadayoshi-tada.hatenablog.com 今回は, 「AWS Copilot」(以下,Copilot)を理解するためにどんな概念や用語があるかを確認してツールの使い方を整理していきたいと思います. ツールの…

【Athena の躓きシリーズ】CloudTrail ログの中から API コール数を集計する Athena のクエリ

タダです. 業務で Athena を使ったログ解析で詰まったことがあったら都度記事にクエリの結果とその対処をまとめるシリーズをやってます.今回は CloudTrail ログの中から特定の API コール数がどこから発信されているかを確認する必要があった時の学びをこの…

データを可視化する QuickSight に入門しよう!『Basic ハンズオン編』の紹介

タダです. QuickSight のハンズオンキットが公式ブログでアナウンスされていたのですが,QuickSight をあんまり使ったことがなかったのでこのハンズオンシリーズを通して QuickSight の使い方を学んでいきます.今回は,「Basicハンズオン編」を取り組んでみた…

スピーディーなコンテナ環境の構築とアプリケーションデプロイができる『AWS Copilot CLI』

タダです. 現在ベータ版ですが ECS や Fargate でのアプリケーションの作成/リリース/管理するための開発者向けツールである「AWS Copilot CLI」を触ってみました.この記事でツールの概要,ツールの導入,サンプルアプリケーションのデプロイを通じてこのツー…

Amazon の継続的デプロイの取り組みを学べる『Automating safe, hands-off deployments』を読んだ

タダです. 新しい「Amazon Builders' Library」の記事が公開されました.オンラインの輪読会で一通り記事は読んだのですが,追加された「Automating safe, hands-off deployments(安全なハンズオフデプロイメントの自動化)」を読んで Amazon での取り組みを学…

おや? NLB のアクセスログを出力設定しているのに S3 バケットにログが出てないぞ?って時に確認すべきこと

タダです. 小ネタですが,NLB のアクセスログを S3 に出す設定をしているもののログがでてなくてあれ?と思った機会があったので備忘録として記事に残しておきます. 結論 いきなり結論ですが,自分の場合は NLB の仕様で S3 にログが出ていませんでした.その仕…

CloudFormation テンプレートがルールに準拠しているかをチェックする CLI ツール『CloudFormation Guard』

タダです. 現在プレビューですが,「CloudFormation Guard」というコマンドラインツールが使えるようになりました.このツールは CloudForamtion テンプレートが定めたポリシーと照らして設定値として正しいのかをチェックします. 公式ブログ aws.amazon.com G…

AWS での Terraform とコンテナの開発・デプロイを体感する『コンテナ時代のWebサービスの作り方』を読んだ

タダです. コンテナでアプリを動したり,その環境を Terraform で構成する経験を積んでいきたいと思い「コンテナ時代のWebサービスの作り方」を購入しました.本書を読了したので,学べることと所感をまとめていきます. Booth booth.pm 目次 本書で学べること …

『コンテナ時代のWebサービスの作り方』での CircleCI ビルド時にハマったエラー対応を整理する

タダです. Terraform とコンテナの勉強の一環で「コンテナ時代のWebサービスの作り方」を読んでいます.本書では CI/CD に CircrlCI を使います.CircleCI の定義で本書の内容をそのまま転記した際にエラーが発生する場面がありました.CircleCI を触れるのが初…

『AWS Data Wrangler』の v1.0 がリリース! どんなアップデートがあったかを整理する

タダです. 以前紹介した「AWS Data Wrangler」が今年の4月に v1.0 でリリースされました.リリースから2ヶ月,過去記事に書いたものからどんなアップデートがあるかをまとめます. 公式ブログ aws.amazon.com 過去記事 sadayoshi-tada.hatenablog.com AWS Data …

複数アカウントや環境の切り替えに Terraform の WorkSpaces を使ってみた

タダです. 最近,Terraform を業務で使ったのですがデプロイする環境が複数の AWS アカウントでした.同じコードをアカウントを変えてデプロイすることを初めてやってみてわかったのが tfstate ファイルを最初のデプロイ以降に Terraform 側でデプロイするたび…

Service Health Dashboards を監視する『AWS Outage Alerts』機能を実装するまでにわかったことを整理する

タダです. 「AWS Outage Alerts」を検証した時の記事を書きましたが,先日自分が担当する業務でこの機能を実装しました.実装に至るまでに追加で設定を調べたり,検証してわかったことをこの記事で整理します. sadayoshi-tada.hatenablog.com 「AWS Outage Aler…

【脳筋Tech】ダイエットの進捗を楽しくするための仕組みを作ってみた💪!

タダです. みなさん,元気に脳筋してますか? 僕はというとコロナウイルスの影響で思うような脳筋生活を送れていなくて悶々としておりましたが,契約しているエニタイムが営業を6/1から開始すると聞いて圧倒的大歓喜でございます.そうはいってもルールがあるた…

AWS で監視設計を学ぶなら『AWSを通じて学ぶ、監視設計』から読もう!

タダです. 業務で設計・構築フェーズから入ったプロジェクトの AWS 環境における運用保守に関わっているのですが,監視はどんな設定にするかが EC2 なら〇〇する,マネージドサービスなら〇〇するって決まっています.どう監視設計を進めていけばいいかを学びた…

【データ収集】AppFlow を使って Google Analytics のブログのデータを S3 にアップロードする

xタダです. 先日,Amazon AppFlow がリリースされました.このサービスは,SaaS と AWS へのデータフローをコーディングなしに自動化できます.AppFlow を使って S3 へデータをアップロードしてしまえば Athena や QuickSight で分析に使うことができます。この…

AWS のクラウドネイティブアーキテクチャを『クラウドネイティブファーストストーリー』で体感しよう!

タダです. 普段クラウドの仕事していて,耳にする「クラウドネイティブ」というトピックを学びたいと思って技術書典応援祭で「クラウドネイティブファーストストーリー」を購入しました.読み終えたので,本書の概要と合わせて自分が学べると感じたことを紹介し…