継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

S3

S3 バケット内オブジェクト削除のライフサイクルをタグでコントロールする

タダです. S3 に格納しているオブジェクトの中で,タグをつけたものをライフサイクルルールで削除したいという要望が業務でありました.S3 のライフサイクルでオブジェクトを削除する時にバケット全体のオブジェクトへ適用することは経験があったのですが,ライ…

S3 に保存した拡張子を取り除いた html コンテンツが閲覧ができない事象の対処

タダです. CloudFront と S3 の構成で静的ファイルの配信をすることになり,継続的なコンテンツの更新があるし GitHub Actions でコンテンツをアップロードするようにしました.その際に,静的ファイルの中で html ファイルを拡張子取り除いてアップロードした…

S3 に保存したデータを BigQuery に読み込ませるための方法を検証した

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…

Aurora MySQL のスナップショットから特定テーブルデータを S3 にエクスポートする

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

Aurora MySQL の特定テーブルデータを SELECT INTO OUTFILE S3 を使って S3 にエクスポートする

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…

プロキシ環境で 別アカウントの S3 へ VPC エンドポイント経由でアクセスする

タダです. 前回記事同様プロキシ環境で EC2 から AWS CLI で VPC エンドポイント経由での別アカウント S3 につなぐ対応を行なったのでこの記事でその内容をまとめます. 関連記事 sadayoshi-tada.hatenablog.com 結論 接続元の EC2 の環境変数に次の設定を行…

CloudFront でのアカウント跨ぎでアクセスログとオリジンアクセスアイデンティティを設定する

タダです。 Amazon CloudFront(以下、CloudFront)から Amazon S3(以下、S3)にアカウント跨ぎでアクセスさせる必要があり、次の2つの設定検証を行いました。 CloudFront のアクセスログをアカウント跨ぎで S3 に格納 CloudFront のオリジンアクセスアイデンテ…