継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

CloudWatch Agent で procstat プラグインを使った EC2 のプロセス監視を設定する

タダです. CloudWatch Agent は EC2 から CPU,メモリなどのメトリクスをとったり,CloudWatch Logs にログを出力できますし,AWS Compute Optimizer を有効活用するためにも役立てることができます.今回は,procstat プラグインを使って Nginx のプロセス監視で…

JAWS-UG 朝会 #15 で『AWS Organizations と一緒にはじめるアカウント分離』の取り組みを発表した

タダです. 11/18 にJAWS-UG 朝会 にて「AWS Organizations と一緒にはじめるアカウント分離」と題して登壇させていただきました.この記事で登壇資料と登壇を振り返っていきます. jawsug-asa.connpass.com 登壇資料 今回の登壇の振り返り まとめ 他の方の勉強…

運用の改善事例を聴ける『Jira / Confluence × Mackerel で実践! 運用しながら改善していくDevOpsのはじめかた』参加レポート

タダです. Mackerel との運用の中で DevOps や障害対応から改善につなげる活動を今後もつなげていきたいと思い,事例をきける「Jira / Confluence × Mackerel で実践! 運用しながら改善していくDevOpsのはじめかた」のウェビナーに参加したのでレポートとし…

SAM で Step Functions と Lambda のワークフローを管理する

タダです. Serveless Applicaiton Model(SAM) で Lambda の開発とデプロイを行い,Step Functions が Lambda 関数処理のワークフローを管理しています.ただ,Step Functions のコード管理ができていない課題があって どの Step Functions が どの Lambda を管…

SSM Automation を使ったオペレーションの省力化!

タダです. 運用において System Manager Automation(SSM Automation) を使い始めたのですが,これまで Lambda などで仕組み化していたものが AWS が機能として提供されていて感動したのでこの記事で SSM Automation の概要と今取り入れている機能を書きます. …

FastAPI と Falcon を Docker イメージにした時のサイズとレスポンスのスピードを計測した

タダです. 業務で API で使用する言語を置き換える検討をしていたりするんですが, FastAPI と Falcon を比較した際Docker イメージにした時の軽量さとベンチマークしてみてどれくらいレスポンスが速いかを計測した機会があったので,この記事に検証した内容を…

データドリブンな組織・仕組み作りを学ぶために『DMM.com を支えるデータ駆動戦略』を読んだ

タダです. データドリブンな組織や仕組みの考え方や作り方を学びたいと思って「DMM.com を支えるデータ駆動戦略」を読みました.本書を読もうと思ったもう1つのきっかけが DMM.com CTO 松本さんの note を購読しており,その内容が本書でも反映されているとみ…

『データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み』と題して AWS DevDay で登壇した

タダです. 10/21 に AWS DevDay Online Japan にて「データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み」と題して登壇させていただきました.この記事で登壇資料と登壇を振り返りをしていきます. aws.amazon.com 登壇資料 今回の登壇の振…

Mackerel の公式プラグインを使ってメトリック監視を行う

タダです. Mackerel でメトリック監視を実装するにあたって Mackerel 公式プラグインを検証する機会があったのでこの記事でその内容をまとめていきます. mackerel.io github.com Mackerel の導入環境 Mackerel の導入環境として Amazon Linux2 に入れました.…

Mackerel の CLI ツール『mkr』を使ってみる

タダです. はてな社の「Mackerel」を業務利用することになりました.使い始めなこともあり画面から設定をいじっていたのですが, CLI ツールである「mkr」の存在を知ったので,導入と監視設定を取得したりしていきます. github.com mkr 導入 現状の監視設定を取…

【Athena の躓きシリーズ】Athena で JSON データを出力したい時にハマったこと

タダです. 業務で JSON データが入っているテーブルを特定条件で抽出して,集計目的で別テーブルにしたいと思ったときにハマったことがあったので対応を記事にします. 今回のハマったことの概要 対応内容 まとめ 関連記事 今回のハマったことの概要 今回は下…

Lambda のカスタムランタイムで AWS CLI を実行させる

タダです. Aurora のスナップショットを S3 にエクスポートする処理を自動化したいと思って,Lambda でカスタムランタイムを使ってAWS CLI を実行する検証をしたので備忘録として記事に残しておきます. カスタムランタイムのコード 参考にしたドキュメント カ…

『AWS Copilot CLI』 v0.4.0 で追加された機能を整理する

タダです. 「AWS Copilot CLI」がv0.4.0が9/22にリリースされました.この記事でv0.4.0のリリースノートを参照してどのような機能が追加されたかを整理しておきます. リリースノート github.com 1. パイプラインの手動承認をサポート 2. タスク ID によるサー…

【Athena の躓きシリーズ】Athena で MySQL の UNIXTIME を扱うクエリを変換した時にハマったこと

タダです. 業務で MySQL で扱っていたクエリをAthena で使えるように変換しながら利用者のサポートしていて UNIXTIME の扱いでハマったので Athena でどのように対応したかをメモとしてまとめておきます. 1, UNIXTIME を JST に変換して使いたいケースのクエ…

【Athena の躓きシリーズ】Athena 専用ユーザーを払い出してクエリを叩けるまでにハマったこと

タダです. 業務でいろんな部署の人に Athena の実行ユーザーを提供して分析業務を行ってもらっているのですが,そのために IAM ポリシーと Athena 側での設定でハマったことをまとめておきます. IAM ポリシーでハマったこと Athena の設定でハマったこと まと…

S3 に保存したデータを BigQuery に読み込ませるための方法を検証した

タダです. 最近業務で BigQuery を触り始めたのですが,メインのシステムが AWS 上にありデータが S3 に保存されています.BigQuery で分析するためには S3 にあるデータを GCP 側に持っていく必要があり,その方法を検証したので備忘録としてこの記事でまとめ…

Aurora MySQL のスナップショットから特定テーブルデータを S3 にエクスポートする

タダです. 前回の記事で Aurora MySQL 互換のデータを SELECT INTO OUTFILE S3 を発行して S3 にエクスポートする情報を整理しました.今回は下記のドキュメントに沿って Aurora のスナップショットから特定テーブルデータをApache Parquet 形式で圧縮して S3…

Aurora MySQL の特定テーブルデータを SELECT INTO OUTFILE S3 を使って S3 にエクスポートする

タダです. 業務でデータ分析系に関わり始めたのですが,その技術調査として Aurora MySQL 互換から S3 へデータをエクスポートした時の検証を記事にまとめていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2 で検証してます. 準備 1. Aurora に…

Macbook の初期セットアップを Ansible で取り組む(2020年9月版)

タダです. 業務で使う PC を変えたのでそのセットアップを勉強の一環で Ansible でやってみました.セットアップしたのは次のマシンです.今回は備忘録として行った内容を記事に書いていきます. Macbook Pro 2020 Mac OS X Catalina 10.15.6 準備 定義ファイル…

自分の仕事を見つめ直すきっかけをくれる『その仕事、全部やめてみよう』を読んだ

タダです. Twitter でいろんな人が感想をツイートして気になっていた「その仕事、全部やめてみよう」を読み終えたので,書評記事を書いていきます. その仕事、全部やめてみよう――1%の本質をつかむ「シンプルな考え方」作者:小野 和俊発売日: 2020/07/30メデ…

機械学習の専門知識を証明する『AWS 認定 Machine Learning Speciality』の試験勉強でやったことを整理する

タダです. データ分析に興味がありその勉強の一環で,8/21 に「AWS 認定 Machine Learning Speciality」を受けて合格しました.今回は自分がどんな勉強をしたかを振り返り,今後受験される方の勉強の参考になれば嬉しいです. 試験範囲について 試験勉強で注力し…

『AWS Copilot CLI』 v0.3.0 で追加された機能を整理する

タダです. 「AWS Copilot CLI」がv0.3.0が8/14にリリースされました.v0.2.0が出たのが7/21だったので一カ月後に新しいバージョンがリリースされて開発が早いなと思います.この記事でv0.3.0のリリースノートを参照してどのような機能が追加されたかを整理して…

データ分析における収集とその活用の取り組みを『Data Engineering Study #2』で聞いた

タダです. 前回「Data Engineering Study #1 」に続き「Data Engineering Study #2 」が開催されたので参加してきました.今回の記事では発表を聞いて感じたことやメモをとった内容をまとめていきます. forkwell.connpass.com イベント概要 第1回勉強会では「…

データレイクの基礎から構築と運用の視点を学べる『AWS ではじめるデータレイク』を読んだ

タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門作者…

Amazon の監視ダッシュボードの取り組みを学べる『Building dashboards for operational visibility』を読んだ

タダです. 新しい「Amazon Builders’ Library」の記事として「Building dashboards for operational visibility(運用の可視化のためのダッシュボードの構築)」が追加されました.このページを読んで Amazon での監視ダッシュボード構築・運用の取り組みを学ん…

『AWS Copilot』で ECS の CI/CD パイプラインをサクッと作る

タダです. 「AWS Copilot」のコマンドでcopilot pipelineからはじまるコマンドがあります.このコマンドでは,GitHub にコードをプッシュした時に CodeBuild,CodePipeline によるリリースパイプラインを作ることができます.この記事では,copilot pipelineコマ…

『AWS Coplilot CLI』の v0.2.0 でサポートされたストレージリソースのデプロイを実践する

タダです. 「AWS Coplilot CLI」がv0.2.0になった時に追加されたcopilot storage initコマンドがあります.このコマンドで S3 もしくは DynamoDB を ECS のアプリケーションと関連づけられ,デプロイする時も一緒に展開されます.今回はストレージリソースを追…

『AWS Copilot CLI』のコマンドとパラメーターから『AWS Coplilot』の理解を深める

タダです. 「AWS Copilot CLI」のコマンドとそのパラメーターでまだまだ知らないことが多いのでこの記事でコマンドとパラメーターを確認して,「AWS Copilot」の理解を深めたいと思います. 参照したドキュメント github.com なお,CLI のバージョンは 0.4.0 で…

東京都のオープンデータを使ってデータの可視化を QuickSight で実践しよう!

タダです. QuickSight のハンズオンを試してみて,やっぱりオープンデータを使って自分なりに可視化してみたい!と思ったので東京都が公開している新型コロナウイルス関連のデータを可視化してみます. stopcovid19.metro.tokyo.lg.jp 可視化対象のデータセッ…

AWS CDK アプリケーションの継続的デプロイメントを実装する『CDK Pipeline』を実践した

タダです. 現在プレビュー版ではありますが,AWS CDK アプリケーションの継続的デプロイメントを行う「CDK Pipeline」の記事が出ていたので記事を参考にこの機能を試してみました.記事を通してどんな実装を試せるのか,試してみての所感をまとめていきます. 日…