継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

MySQLの ALTER TABLE ステートメントの実行形式について学んだメモ✍

タダです. DB マイグレーションなどで ALTER TABLE ステートメントを実行する機会は多いと思いますが,自分は ALGORITHM 指定した実行形式を意識して使ったことがこれまでありませんでした.今回実行形式に触れる機会があったので学んだメモをまとめます. ALTE…

CloudFront の標準アクセスログを Athena で調査した時に使用したクエリメモ✍

タダです. CloudFront の標準アクセスログを Athena を使って調査をした時があり,初めてやったためその時に使用したクエリをまとめます.なお,Athena のテーブルはドキュメントに記載のテーブル定義で作成している前提になります. docs.aws.amazon.com 調査時…

terraform-aws-provider 5.68.0 で非推奨になった aws_iam_role の inline_policy の改修を行ったときのメモ✍

タダです. terraform-aws-provider 5.68.0 で以下の引用文にあるように aws_iam_role にて inline_policy を使用するのが非推奨になり aws_iam_role_policy が代替先になりました.この記事では,そのリソースの改修を行った備忘録を書きます. resource/aws_ia…

OpenSearch Serverless のリソースを Terraform にインポートする

タダです. OpenSearch Serverless のリソースを Terraform の管理下に置くためにインポートを行いました.一部自分の勘違いでハマったことがあったのでそこからの学びをこの記事でまとめます.なお,本記事で使用する hashicorp/aws のプロバイダーバージョンは…

Aurora MySQL 互換バージョン3での一時テーブルについて理解する

タダです. Aurora MySQL 互換バージョン3での一時テーブルの挙動について整理したいと思い,以下の記事及びドキュメントを読みながら学んだ内容をまとめます. aws.amazon.com 一時テーブルについて MySQL では.8.0 より前は一時テーブルのデフォルトストレー…

MySQL8 のプロセスを確認するときに実行するコマンドを学び直した

タダです. MySQL で実行されているプロセスを確認するときは SHOW PROCESSLIST を叩いて確認してきました.MySQL8 のドキュメントを見ていると別の方法で確認する方法を知ったのでこの記事でまとめます. SHOW PROCESSLIST の代替テーブル さて本題ですが,SHOW…

MySQL 5.7 と 8.0 でのロック情報の確認テーブルについて

タダです. Aurora MySQL 5.7 のサポート期限が迫っており,順次 MySQL 8.0 に移行中です.そんな折に 5.7 では使用できていたロック情報の確認テーブルが 8.0 で使用できなくなっていました.この記事ではどのテーブルが変更になっていたかをまとめていきます. …

Dify のテンプレートから RAG のチャットボットを作ってみる

タダです. 前回ローカルで Dify を起動してみました.簡単なアプリを作ってみます. sadayoshi-tada.hatenablog.com Dify のテンプレートから作る Dify では LLM アプリのテンプレートが用意されているので Knowledge Retreival + Chatbot を使って作ります. …

ローカルで Dify を動かして遊べるようにする

タダです. ずっと気になっていた Dify を触っていきたいと思ってローカルでいじれるようにしていきます. Dify とは Dify はオープンソースの LLM アプリ開発プラットフォームです.特徴としてユーザーはドラッグ&ドロップでアプリケーションを構築できます.こ…

SRE NEXT 2024 2日目参加レポート #srenext

タダです. 8/3~4にかけての開催の SRE NEXT 2024 の2日目に参加したので,この記事で簡単に感想をまとめます. sre-next.dev 初日の参加レポート sadayoshi-tada.hatenablog.com セッションの感想 プロダクトのスケールによって顕在化しうるリスクをどう管理す…

SRE NEXT 2024 1日目参加レポート #srenext

タダです. 8/3~4にかけての開催の SRE NEXT 2024 の初日に参加したので,この記事で簡単に感想をまとめます. sre-next.dev セッションの感想 Becoming SRE - SREって何から始めればいいの? - ①、② DevSecOpsの内回りと外回りで考える持続可能なセキュリティ…

VPC フローログに ECS サービスのフィールドを追加して Athena で検索する

タダです. VPC フローログのフィールドに ECS サービスに関するフィールドが追加されました.これまで調査の時は ECS の IP アドレスから問題を調べることしかできなかったため,問題の調査がしやすくなります.この記事では VPC フローログに新たに追加された…

Aurora 削除時に Bytebase API を実行するよう Step Functions で自動化する

タダです. 以下の記事を書きました.今回はこれらの記事でやっていることを1つのワークフローで実現するために行ったことをまとめます.つまり,時限式で Aurora を削除する際に合わせて Bytebase API を叩いて普段手動で触っているオペレーションを自動化しま…

ずっと気になってた 大吉祥寺.pm に参加してきた #kichijojipm

タダです. 吉祥寺.pm に友達が参加してたので,ずっと気になってまして今回初めて大吉祥寺.pm に参加してきたので感想を書きます. kichijojipm.connpass.com 発表ごとの感想まとめ 基調講演 発表資料 多様性の時代を生き抜くキャリアプランニング 発表資料 開…

AWS CloudShell の VPC サポートがされたので実際に触ってみた

タダです. AWS CloudShell(以下 CloudShell)で VPC 内で利用が可能なりました.このアップデートで踏み台サーバをなくせるのではと思ってどんなことができるのかや制約をこの記事でまとめます. aws.amazon.com CloudShell VPC 環境でできること/制約 実際に起…

【2024年版】RDS と Aurora の SSL/TLS 証明書のローテーションで再起動が発生するかと作業対象のデータベースの一覧を確認した

タダです. 数年ぶりに迫ってきた RDS と Aurora の SSL/TLS 接続で使用する証明書の入れ替えが東京リージョンは 2024/08/22 期限となっています.今回の証明書の入れ替えにあたって利用している Aurora で証明書入れ替え時に再起動が発生するのか,どの証明書…

Bytebase API を実行するワークフロー を Step Functions で構築する

タダです. 前回の記事で Bytebase の API を実行するコマンドを紹介しました.この記事ではローカルから curl で実行していたのですが,自動化して実行できるように Step Functions のサードパーティ API 実行を試してみます. sadayoshi-tada.hatenablog.com S…

Bytebase の API を使って手動オペレーションの仕組み化を試みる【DB インスタンス編】

タダです. Bytebase を使っていて手動オペレーションの中でいわゆるトイルになってしまって運用上負担になってしまう状況を改善したいと思い,API を使ってみることにしました.この記事では Bytebase の API を使用するための事前準備,認証,特定のエンドポイ…

EventBridge ルールでワイルドカードのイベントを拾い Aurora クラスターとインスタンス作成を検知する

タダです. Aurora を複製時に EventBridge ルールで特定 Aurora クラスターと DB インスタンスの作成タイミングを検知して Step Functions に処理させたいと思って,EventBridge ルールでワイルドカードを使ってみたので備忘録にまとめます. EventBridge ルー…

Step Functions のパラメーターのバリデーションを設定する

タダです. 前回の記事で時限式の Aurora Clone の削除を Step Functions で試した記事を書きました.今回の記事ではその関連として Aurora を削除するときのパラメーターで渡す際に意図したインプットを次のステートに引き継げるようバリデーションを設けてみ…

EventBridge Scheduler と Step Functions を使って時限式で Aurora 削除を実現する

タダです. 試しに使った Aurora クラスターとインスタンスを時限式で削除したいなと思い,EventBridge と Step Functions を使った自動削除の仕組みを試してみたので,この記事にまとめます.なお,今回の時限式削除はいつどのリソースを削除しているかの記録を…

Bytebase でカスタムロールを作り,専用の承認プロセスを作る

タダです. Bytebase のデータベース変更の承認を行う際に,デフォルトで用意されているロール以外に承認権を与えたい場合があり,カスタムロールの作成と承認プロセスを設定したので備忘録として記事に書きます. Bytebase におけるカスタムロール カスタムロー…

Amazon Workspace を Microsoft EntraID の SAML 認証を行う~設定編~

タダです. Amazon Workspaces(以下,Workspaces)のログインを Microsoft EntraID の SAML 認証で設定する事があったので今回は SAML 認証設定編です.なお,前回記事は以下になります. sadayoshi-tada.hatenablog.com Workspaces のログインを SAML 認証設定で…

Amazon Workspace を Microsoft EntraID の SAML 認証を行う~準備編~

タダです. Amazon Workspaces(以下,Workspaces)を試す機会が久々に巡ってきて,Microsoft EntraID の SAML 認証を設定する事があったので2回に分けて書いていきます.この記事では,SAML 認証の前の準備編になります. docs.aws.amazon.com Workspaces と SAML …

Bytebase の SSO を Microsoft EntraID を使って設定する

タダです. Bytebase のログイン方法は基本メールアドレスとパスワードによるログインになるのですが,Enteprise プランにすることで SSO を使えるようになります.トライアルで SSO を試してみたので備忘録にまとめます. Bytebase の SSO 概要 Bytebase の SSO…

Bytebase の Terraform provider を試してみる

タダです. Bytebase の設定は手動で設定していたのですが, Terraform のサポートされています.全ての設定をサポートされているわけでないですが,試した備忘録としてまとめていきます. サポートされているリソースについて Bytebase Terraform provider では…

Bytebase のメタデータストアを RDS の PostgreSQL を指定する

タダです. 以前の記事で ECS で Bytebase を展開する記事を書きました.書いた後に気付いたのですが,ECS タスクを落としてしまうとユーザー情報やデータベースの接続情報など Bytebase のデータが無くなっていてデータベースの指定ができてなかったしそりゃそ…

デッドロックの発生時に通知できるように CloudWatch Logs サブスクリプションフィルターを作る

タダです. 以前,デッドロックの発生時にエラーログを CloudWatch Logs に出力するパラメーターを紹介しました.デッドロック発生時に Datadog Logs に流したいと思って CloudWatch Logs サブスクリプションフィルターと Datadog のモニターを設定したので備忘…

データベース CI/CD ツールの Bytebase を ECS Fargate でホストしてみる 🐳

タダです. データベースの CI/CD の方法を検討する際に Bytebase を試すことがありました.Bytebase はセルフホストするかクラウド版を利用するかの二択があるのですが,セルフホストとして ECS Fargate で起動して RDS に SQL 実行を検証してみました.この記…

RDS Blue/Green Deployment を使って Aurora MySQL 5.7 → 8.0 に移行を試した

タダです. Aurora MySQL 5.7 のサポート期限が今年の10月末に迫っているため,データベースエンジンのバージョンアップを進めています.そんな中で RDS Blue/Green Deployment を使って開発環境のバージョンアップを行ったのですが,その時に感じた良さをまとめ…