継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

【19日目】AWS CLIのデータをqueryで扱う

AWS CLIのレスポンスはJSON形式で返ってきますが、JSONパースするならjqが有名です。 こんな風に適当なAWS IoTのルールを抽出する。

aws iot list-topic-rules | jq -r '.rules[].ruleName' | grep test

AWS CLIでqueryオプション使ったのでメモっておきます。 形式はテキスト形式にしました。

aws iot list-topic-rules --output text --query 'rules[*].[ruleName] | grep test

docs.aws.amazon.com

技術書典5に行ってきました!

タダです。

今日は技術書典5に参加してきました。 techbookfest.org

技術書典3から参加していたのですが、今回は秋葉原ではなく、池袋が会場でした。

これまでの教訓から早めに到着したのですが、2時間前で既に50人以上の方が並んでいて、ohって感じでした。。

これまでと違って、整理券をくばらずその場で待機していたのですが、座っていたのでケツが痛くなりつついざ開場!

・・・

開場後数分くらいで、これくらいにごった返してましたw イベントの熱量を感じます...

出典されている方々の本の内容も相変わらず濃いので、激混みの中でも立ち止まって立ち読みしてしまいます。楽しい!

戦利品の紹介

そんな僕の戦利品はこちら。

  • OneStop転職
  • Microservices Architecture
  • Vagrant/Packer/Serverspecではじめるインフラ自動化のノウハウ
  • PokeAI
  • ほぼPythonだけでサーバーレスアプリをつくろう
  • IT実務のアンチパターン(プロジェクト計画編)
  • XFLAG Tech Note(これは無料配布されてました)

f:id:sadayoshi_tada:20181008184135j:plain

サーバーレスとか自動化、マイクロサービスは仕事で触れることがあるのでってことで。 PokeAIは試すのが楽しみだし、アンチパターンは目次見ただけで面白そうだったのでw

読むのが楽しみ!

まとめ

一般の書籍では扱われないテーマを手軽な値段で手に入れられるこのイベントは今後も通うでしょうし、 自分もいつかネタを提供する側になってみたいなーと思いました。

物欲が満たされた...出典された皆さん、お疲れ様でした! ありがとうございました!!

f:id:sadayoshi_tada:20181008184026j:plain

P.S.

FindyさんのCTOの方がマッチョで思わず喋りかけてしまったし、デカくて優しい雰囲気が出ていてお会いできてよかった。

20181011追記

NHKニュースにも取り上げられるイベントになっていてすごいです。 www3.nhk.or.jp

【18日目】CloudMapperに入門した

毎日更新する勉強日記の更新が滞っていました。。。

今回は前々から気になっていたCloudMapperについてまとめていきます。

CloudMapperとは

CloudMapperは、OSSのソフトウェアで、AWS環境のネットワーク構成図をブラウザで管理できます。

CloudMapper helps you analyze your Amazon Web Services (AWS) environments. The original purpose was to generate network diagrams and display them in your browser. It now contains much more functionality.

duo.com github.com

利用条件

利用条件として、以下の引用にもあるように、Python3で、pipとvirtualenvの他に、jq、pyjqも必要とあります。

python 3 (3.7.0rc1 is known to work), pip, and virtualenv

You will also need jq (https://stedolan.github.io/jq/) and the library pyjq (https://github.com/doloopwhile/pyjq), which require some additional tools installed that will be show

セットアップ

MacOSと、Linux向けのセットアップがまとめられていたので、以下に転記します。 僕の端末はMacなんで、Macのセットアップを実行しています。

for MacOS

# clone the repo
git clone git@github.com:duo-labs/cloudmapper.git
# Install pre-reqs for pyjq
brew install autoconf automake libtool jq awscli python3
cd cloudmapper/
pipenv install --skip-lock
pipenv shell

for Linux

# clone the repo
git clone git@github.com:duo-labs/cloudmapper.git
# (AWS Linux, Centos, Fedora, RedHat etc.):
# sudo yum install autoconf automake libtool python3-devel.x86_64 python3-tkinter jq awscli
# (Debian, Ubuntu etc.):
# You may additionally need "build-essential"
sudo apt-get install autoconf automake libtool python3-dev python3-tk jq awscli
cd cloudmapper/
pipenv install --skip-lock
pipenv shell

セットアップが完了したらMacではこんな状態になりました。

» pipenv shell
Launching subshell in virtual environment…
 . /Users/tada/.local/share/virtualenvs/cloudmapper-V_CzBNi6/bin/activate
xxxxxx :: ~/cloudmapper »  . /Users/tada/.local/share/virtualenvs/cloudmapper-V_CzBNi6/bin/activate
(cloudmapper-V_CzBNi6) xxxxx :: ~/cloudmapper »

デモ実行

デモの環境も用意されているため、まずはデモ環境を動かしてみます。

(cloudmapper-V_CzBNi6) xxxxx :: ~/cloudmapper » python cloudmapper.py prepare --config config.json.demo --account demo
Building data for account demo (123456789012)
- 0 nodes built in region ap-south-1
- 0 nodes built in region eu-west-3
- 0 nodes built in region eu-west-2
- 0 nodes built in region eu-west-1
- 0 nodes built in region ap-northeast-2
- 2 nodes built in region ap-northeast-1
- 0 nodes built in region sa-east-1
- 0 nodes built in region ca-central-1
- 0 nodes built in region ap-southeast-1
- 0 nodes built in region ap-southeast-2
- 0 nodes built in region eu-central-1
- 0 nodes built in region us-east-1
- 0 nodes built in region us-east-2
- 0 nodes built in region us-west-1
- 0 nodes built in region us-west-2
- 2 external CIDRs built
- 4 connections built
(cloudmapper-V_CzBNi6) xxxxx :: ~/cloudmapper » python cloudmapper.py webserver
CloudMapper serving on 127.0.0.1:8000

この状態になったら、ブラウザから「http://127.0.0.1:8000」にアクセスします。 f:id:sadayoshi_tada:20181008165448p:plain

デモ環境の確認ができたので、自分の環境を見えるようにしてみたいと思います。

自分の環境のセットアップ

まとめ

今回CloudMapperの導入と、自分の環境のネットワーク構成図を表示させるところまでやってみました。

10/1~10/6 AWSブログ

タダです。

今週のAWSブログアップデートをまとめていきます。

1、re:Invent 2018 での AI と機械学習の案内

  • re:Invent2018でのAIとMLのセッション紹介記事です

2、Apache MXNet を Amazon SageMaker および AWS Greengrass ML Inference と共に使用する脳組織のセグメント化 – パート 1

  • 独自の MXNet スクリプトを SageMaker に導入することで、畳み込みニューラルネットワークをトレーニングして、脳組織のセグメンテーションを自動化する方法の紹介記事です
  • パート 2 では、Greengrass を使用してSageMaker でトレーニングした ENet モデルをエッジデバイスにデプロイする方法の紹介記事になります

3、パラメータラベルを活用した環境をまたいだパラメータ更新

  • System Managerのパラメータラベルの紹介記事です

4、AWS IoT Analytics 東京リージョン 一般提供開始のおしらせ

  • AWS IoT Analyticsが東京リージョンで提供されました

5、ゲノミクス研究とクラウドコンピューティングでコアラを救う

  • ゲノミクス研究のAWS活用事例の紹介記事です

6、re:Invent 2018 – 残り 55 日になりました….

  • re:Inventの紹介記事です

7、Amazon SageMaker と AWS Deep Learning AMI で PyTorch 1.0 プレビューが利用できるようになりました

8、Amazon SageMaker ノートブックインスタンスで一般的なワークフローを使用する方法

*SageMakerのノートブック利用方法紹介記事です

以上が今週のブログまとめになります。

9/23~9/30 AWSブログ

タダです。

今週のAWSブログアップデートをまとめていきます。

1、新しくなった Amazon Aurora の Parallel Query

  • Auroraの並列クエリ機能の利用方法紹介記事です

2、今すぐ利用可能 – SAP HANAに最適な6, 9, 12TBメモリを搭載したAmazon EC2 ハイメモリインスタンス

3、Amazon SageMaker 自動モデルチューニングによる高精度なモデル、高速化

  • SageMakerでハイパーパラメータチューニングを実行し、自動モデルチューニングとランダム検索の紹介記事です

以上が今週のアップデートまとめになります。