継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

Aurora

RDS Blue/Green Deployment を使って Aurora MySQL 5.7 → 8.0 に移行を試した

タダです. Aurora MySQL 5.7 のサポート期限が今年の10月末に迫っているため,データベースエンジンのバージョンアップを進めています.そんな中で RDS Blue/Green Deployment を使って開発環境のバージョンアップを行ったのですが,その時に感じた良さをまとめ…

Aurora のデッドロック情報を抽出して CloudWatch Logs に出力する

タダです. Aurora のデッドロックの発生時に SHOW ENGINE INNODB STATUS を実行し, LATEST DETECTED DEADLOCK の詳細情報を抽出して開発メンバーに連携する作業が時折発生してどうにかならんかな〜と思っていた際に自分の改善案を持っていって所属のチームで…

AWS Backup で Aurora のバックアップの取得と別リージョンにコピーする

タダです. AWS Backup でリストアテストがサポートされました.これはシステムを動かすメインリージョンではなく DR の目的で別リージョンにコピーしたバックアップからリストアをやりたいと思ったため,この記事ではまず バックアップの取得とそのコピーを AW…

Aurora AutoScaling をスケジュール実行するために Terraform で設定する

タダです. Aurora AutoScaling をスケジュール実行したいことありますよね.AWS CLI でもできますが,Terraform で設定をしてみたのでこの記事でまとめます. sadayoshi-tada.hatenablog.com Terraform のコード AutoScaling のスケジュール設定は aws_appautos…

S3 に入れた Aurora の監査ログを Athena でクエリを行う

タダです. 過去記事で Aurora のログを S3 に格納することを書きました.S3 にログを格納したら検索して分析したくなりますが,この記事では監査ログの中から管理者ユーザーの利用履歴を検索してみます. sadayoshi-tada.hatenablog.com 前提 テーブル作成 関連…

Terraform で Aurora のインスタンスタイプを変更しようとしたら反映されなかった時の対応

タダです. Terraform で Aurora のインスタンスタイプを変更しようとした時に terraform apply は成功しているが,Aurora のインスタンスタイプが変更されてなかった場面に遭遇したので対処をまとめておきます. 事象概要 本事象の対応まとめ 関連情報 まとめ …

DownloadCompleteLogFile を定期実行した時に遭遇した事象についてまとめる

タダです. 前回の記事で RDS ログを S3 にアップロードする処理を ECS で定期実行するように運用し始めました.運用し始めて遭遇した気づきがあり,そのことについて本記事で書いていきます. sadayoshi-tada.hatenablog.com 運用し始めて発生した事象 原因調査…

Python で RDS に格納されている各種ログをダウンロードする

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウ…

RDS の IAM 認証で使うトークンにホスト名を指定できるか?

タダです. RDS の IAM 認証をする時に言われてみれば試したことなかったことを経験したので備忘録でまとめます. sadayoshi-tada.hatenablog.com sadayoshi-tada.hatenablog.com 概要 Aurora Serverless に接続するために IAM 認証を使うことにしたのですが,…

Aurora Severless V2 の DB ユーザーに GRANT ALL PRIVILEGES をするとエラーが出たので対処をまとめた

タダです. Aurora Serveless V2 で管理者ユーザーと同等の権限を持つ DB ユーザーを作りたいと思い, GRANT ALL PRIVILEGES でユーザーに権限を付与しようとしたら実行ができないことを知りました.この記事ではどのように対応したのかをまとめます. 事象の概…

Aurora Serverless に IAM 認証で接続を試した

タダです. Aurora Serverless V2 が今年の4月にリリースされました.Aurora Serveless V2 を使う機会があり,IAM 認証での接続を試したのでこの記事にまとめていきます. aws.amazon.com Aurora Severless V2 で IAM 認証 を行う方法 Aurora Severless V2 で IA…

Terraform で Aurora の拡張モニタリングを特定環境で設定する

タダです. Aurora の拡張モニタリングを有効化した時に Terraform を使って行ったのですが,特定の環境にのみ適用させる設定しました.その設定を試した結果をこの記事にまとめます. 事前準備 拡張モニタリングの有効化 関連情報 まとめ 事前準備 今回は dev …

Aurora の特定ユーザー接続検知をするために CloudWatch Logs サブスクリプションフィルターを使う

タダです. Aurora への接続ユーザーとして管理者ユーザーを使わないように運用していることが多いと思いますが,そんな中で管理者ユーザーで接続された場合ちゃんと検知しておきたいといった要件から検証した内容をこの記事にまとめます. Aurora のログについ…

Aurora レプリカ Auto Scaling のイベントをトリガーに Lambda を発火する

タダです. Aurora レプリカ Auto Scaling で追加されたイベントをトリガーに EC2 の Apache を再起動(graceful)を実行したいと思い,Lambda を発火させるようにしてみたのでこの記事でまとめていきます. 経緯 実装 EventBridge のルール Lambda のコード Auro…

暗号化した Aurora スナップショットを別アカウントで復元する

タダです. 本番環境から別アカウントに暗号化した Aurora スナップショットを共有し,仕組み化して復元する時に少し手間取ったので対応をまとめていきます. 暗号化した Aurora スナップショットを共有する設定 共有されたアカウントでの設定 まとめ 暗号化し…

Aurora のクローン機能を使ったバイナリログレプリケーションを実行してみた

タダです. 以前の記事で Aurora のバイナリログを有効化して DMS の準備をする記事を書きました.ただ,DMS のトラブルシューティングを確認してみるとオブジェクトの作成ができないものがあり,ソースデータベース とターゲットデータベースが同一の場合オブジ…

Aurora MySQL でレプリケーションを行うためにバイナリログを有効化する

タダです. Aurora MySQL のデータを DMS でのレプリケーションをやりたいと思い,バイナリログを有効化する機会がありました.初めてやったので設定について振り返っていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2で確認してます. DB クラス…

胸熱! Aurora MySQL in-place upgrades 機能を使って MySQL 5.6 => 5.7 にアップグレードする

タダです. re:Invent 中に Aurora MySQL 5.6 から 5.7 へアップグレードすることが容易になるアップデートが出るアナウンスがあり,業務で担当しているデータベースは MySQL 5.6 なので期待していたら遂に出ました! MySQL のバージョンの追随をしていきたいと…

Aurora MySQL のスナップショットから特定テーブルデータを S3 にエクスポートする

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

Aurora MySQL の特定テーブルデータを SELECT INTO OUTFILE S3 を使って S3 にエクスポートする

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…