継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

GCP

AWS Cost Usage Report を定期的に Storage Transfer Service で Google Cloud Service に転送するのを Terraform で設定する

タダです. 以前の記事で AWS Cost Usage Report (以下,Cost Usage Report )を BigQuery にロードして Locker Studio で可視化したのですが,この記事では手動オペレーションになっていた AWS -> GCS へのデータを連携する部分の仕組み化と Terrafrom としてコ…

AWS Cost Usage Report を BigQuery に入れて Locker Studio で可視化する

タダです. AWS Cost Usage Report を BigQuery に入れて可視化したいと思い,Locker Studio を使うことにしました.この記事では BigQuery に Cost Usage Report をアップロードして Locker Studio で可視化します. BigQuery に AWS Cost Usage Report をアッ…

Datadog の GCP インテグレーションを設定する

タダです. Datadog の GCP インテグレーション設定をしたのですが,備忘録でこの記事にまとめていきます. GCP インテグレーション設定方法 1,API の有効化 2,サービスアカウントの作成と鍵のダウンロード 3, Datadog GCP インテグレーションにサービスアカウ…

GCP の課金状況をモニタリングできるよう設定する

タダです. GCP を利用していると無料の利用枠で使えているうちはいいのですが,課金され始めるとびっくりするみたいな経験があります.そのため,BigQuery に課金データをエクスポートして状況をウォッチできるようにしたり,課金が嵩むような使い方をしていない…

『Google Cloud Certified - Associate Cloud Engineer』に合格するためにやったこと

タダです. 勉強の一環で5/27 に「Google Cloud Certified - Associate Cloud Engineer」を受けて合格しました.今回は自分がどんな勉強をしたかを振り返り,今後受験される方の勉強の参考になればと思い整理します.なお,自分は GCP は業務で一部使っている程で…

コンテナを使って gsutil で S3 のデータを GCS に同期してみる

タダです. S3 から GCP のストレージサービスである GCS に対してオブジェクトを同期させたいことがあり,定期実行させるし Fargate に登録して処理させることにしたのでその設定をまとめていきます. S3 から GCS への同期手法 関連記事 Fargate に登録する D…

S3 に保存したデータを BigQuery に読み込ませるための方法を検証した

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…