継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

4/16~4/21 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、Amazon Kinesis Video Streams および Amazon AI サービスを使用した注意とエンゲージメントを測定するためのボディーランゲージの自動分析の構築

２、Amazon Kinesis Video StreamsとAmazon Rekognition Videoでハイエンドコンシューマーエクスペリエンスを提供するために顔認識を使用する

  • Kinesis Video StreamsとRekognition Videoを組み合わせたリアルタイムの顔情報認識を構成する記事です
    • 顔認識の部分はラズパイとKinesis Video StreamsのSDKを使っています

３、LumberyardとAWSを使用して数分で（数日ではなく）大規模で再現度の高いの地形を生成

  • ゲームの地形生成を、LumberyardとAWSならすぐできる、という紹介記事です

４、AWS AppSync – 6 つの新機能を加え本番提供開始

  • AppSyncが6つの機能が追加されて本番提供開始されました

    1.コンソールログアクセス – AWS AppSync コンソールの中から GraphQL クエリー、ミューテーション、サブスクリプションをテストするときに作成される CloudWatch Logs を確認することができるようになりました。

    2.モックデータによるコンソール試験遂行 – 試験遂行の目的でコンソールにモックコンテキストオブジェクトを作成し、使用することができるようになりました。

    3.サブスクリプションリゾルバ – すでにクエリに対して行い、リクエストを変更する方法と同様に、AWS AppSync サブスクリプションリクエストに対するリゾルバを作成することができるようになりました。

    4.DynamoDB のバッチ GraphQL オペレーション – DynamoDB のバッチオペレーション (BatchGetItem と BatchWriteItem) をリゾルバ機能の中の 1 つ以上のテーブルにわたって利用することができるようになりました。

    5.CloudWatch サポート – AWS AppSync API へのコールをモニタリングするために、Amazon CloudWatch Metrics と CloudWatch Logs を使用できるようになりました。

    6.CloudFormation サポート – AWS CloudFormation テンプレートを使用して、スキーマ、データソース、リゾルバを定義することができるようになりました。

５、Initiafy と Amazon Polly でアクセス可能なトレーニングを作成する

  • InitiafyのAmazon Polly利用事例の紹介記事です

６、Amazon SageMaker を使用して Word-Pronunciation シーケンスツーシーケンスモデルを作成する

  • SageMaker seq2seqは、シーケンスツーシーケンスタスクでエンコーダーデコーダーアーキテクチャを利用するための方法を提供します
  • Amazon SageMaker Word-PronunciationノートブックでSageMaker seq2seqの使い方を紹介する記事になります

７、Amazon EC2 C5 および P3 インスタンスで、最適化された TensorFlow 1.6 により、高速なトレーニングを実行する

８、Amazon SageMaker がサポートする、「マーチマッドネス」予想アプリケーションを構築する

  • SageMakerでマーチマッドネスの予想アプリケーションを作った時の構成方法紹介記事です

９、Amazon Sagemaker モデルのパフォーマンスのリアルタイム監視に Amazon CloudWatch カスタムメトリックスを使用する

  • SageMakerモデルのパフォーマンスをCloudWatchでリアルタイム監視するための方法に関する記事です

１０、Amazon Machine Learning API と PubNub ChatEngine でスマートなチャットアプリを開発する

１１、Gluon on Amazon SageMaker 上の Gluon および AWS Batch によるテキスト分類

  • GluonとSageMakerでのトレーニング後、AWS Batchの処理を行い、Lambdaでトレーニング済みのデータに対して予測スクリプトを使うシステムの紹介記事です
    • SageMakerのトレーニングと予測のためのコードをDockerを使うが、そのイメージはECRにアップロードします

１２、ライフサイクル構成およびインターネットアクセスを無効にするオプションを使用して Amazon SageMaker ノートブックインスタンスをカスタマイズする

  • SageMakerで2つの機能をオプションで追加しました
    • ノートブックインスタンスのカスタマイズプロセスの自動化を支援するライフサイクル構成
    • ノートブックインスタンスに制御されたセキュリティ環境を提供するために、パブリックインターネットから切り離す機能

１３、より高速で、より柔軟性のあるモデルを Amazon SageMaker 線形学習者でトレーニングする

  • SageMakerの線形学習者アルゴリズムに幾つか機能が追加されました
    • 最適なモデルに対しては早期に終了して保存する
    • 新しい手法の追加(ヒンジ損失、分位点損失、Huber損失、イプシロン不感応損失、クラス重み付けオプション)

１４、Amazon Translate を使用したチャットチャンネル

  • Twitchのチャットにおける翻訳機能にAmazon Translateを導入しています
    • 加えてメッセージを音声で読み上げる時にPollyを追加するアーキテクチャの紹介記事です

１５、EFS ファイルシステムを Amazon SageMaker ノートブックに (ライフサイクル設定を含めて) マウントする

  • SageMakerノートブックインスタンスにEFSをマウントする方法を紹介する記事です

１６、[AWS Black Belt Online Seminar] Amazon EC2 資料及び QA 公開

  • 表題のWebinarの資料及びQA公開記事です

１７、【開催報告】Amazon Chimeを使ったJAWS DAYS 2018 re:Capが開催されました

  • 表題のイベント開催レポート記事です

１８、MySQLデータベースをAuroraへ移行する方法をマスターする

  • オンプレミスのMySQLを、EC2に移行し、最終的にAuroraへ移行した振り返りの記事です

１９、AWSの新しい Registry of Open Data(RODA)

  • Registry of Open Dataが発表され、パブリックデータセットが含まれています
    • このデータセットを追加して、AWSで分析が可能になります
  • 以下がそのサイトです

Registry of Open Data on AWS

２０、[AWS Black Belt Online Seminar] Amazon VPC 資料及び QA 公開

  • 表題のWebinarの資料及びQA公開記事です

以上が今週のアップデート記事まとめです。

git cloneしようとした時に[Permission denied (publickey).]が表示された時の対処メモ

学習ノート Github

タダです。

小ネタですけど、git cloneした時にPermission denied (publickey).が表示されました。 このエラーメッセージに対する対処法を記録しておきます。

 git clone git@github.com:xxxx/xxxx.git
Cloning into 'xxxx'...
Warning: Permanently added the RSA host key for IP address 'xxx.xxx.xxx.xxx' to the list of known hosts.
Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

結論

ググってみたら解決方法がたくさんでてきたのですが、私のGithubに公開鍵を登録していない状態だったので、メッセージが表示されました。

# 鍵の生成
ssh-keygen -C "git@github.com" -t rsa

# 秘密鍵の登録
ssh-add /Users/tada/.ssh/xxxx

# Github側の作業(公開鍵の登録)
1. アカウント名をプルダウンして、Settingsを選択する
2. SSH and GPG keysより「New SSH key」で公開鍵名と公開鍵を登録する

# テスト
ssh -T git@github.com
Hi xxxx! You've successfully authenticated, but GitHub does not provide shell access.

参考にさせていただいたサイト

入門 Kubernetes 3章

Kubernetes 入門 Kubernetes 学習ノート コンテナ

タダです。

今回は3章です www.oreilly.co.jp

3.1

GCPの場合

  • GCPでは、Google Kubernetes Engine(GKE)を提供している
    • 利用するにはGCPのアカウントと、gcloudがインストールされる必要がある
# 設定を初期化
$ gcloud init

# デフォルトゾーンの設定
$ gcloud config set compute/zone us-east-a

# クラスタの作成
$ gcloud container clusters create kuar-cluster

# クラスタの認証情報を取得する
$ gcloud auth application-default login

Azureの場合

  • Azure Container Serviceの一部としてKubernetesを提供している
    • 簡単に始めるためには、Azure Cloud Shellを使うこと
    • このシェルには azコマンドが自動でインストールされ、設定済みとなっている
  • シェルが動作したら次のコマンドを実行していく
# リソースグループの作成
$ az group create --name=kuar --location=westus

# クラスタを作成
$ az acs create --orchestrator-type=kubernetes --resource-gorup=kuar --name=kuar-cluster

#　クラスタの認証情報の取得
$ az acs kubernetes get-credentials --resource-group=kuar --name=kuar-cluster

# kubectlインストール
$ az acs kubernetes install-cli

AWSの場合

3.2

  • ローカル開発環境が必要、クラウドサービスに課金したくない場合はminikubeをインストールできる
    • minikubeはテストや開発用のシングルクラスターであるため、信頼性はない
  • minikubeは https://github.com/kubernetes/minikube からダウンロードできる
  • minikubeのインストールしたら、以下のコマンドを使ってクラスタを作れる
$ minikube start

# クラスタ停止
$ minikube stop

# クラスタ削除
$ minikube delete

3.3

  • ラズパイでKubernetesを動かすことも可能(詳細な手順は付録レベルのため割愛)

3.4

  • Kubernetesのクライアントは、kubectl
    • kubectlには、Pod、ReplicaSet、ServiceなどのKubernetesオブジェクトを管理できる
  • kubectlの操作の一例は以下のようなもの
    • conroller-managetはクラスタの振る舞いを制御するコントローラを動かす役割を担っている
    • schedulerは各Podをクラスタ内のそれぞれのノードに配置する
    • etcdはクラスタのすべてのAPIオブジェクトが保存されるストレージ
# クラスタのバージョン確認
$ kubectl version

# クラスタのステータス確認
$ kubectl get componentstatus

# ワーカーノードの表示
$ kubectl get nodes

# ノードの情報を詳細に表示する
$ kubectl describe nodes node-1<ノード名>

3.5

次回は4章です。

Docker 実践活用ガイド 9章

Docker 実践活用ガイド Docker 学習ノート コンテナ

タダです。

今回はDocker実践活用ガイドの9章を読んだ内容をまとめていきます。 ※記事は理解ができるたびに何度もアップデートしていこうと思います。 book.mynavi.jp

なお、副教材としてドットインストールも使っていこうと思います。

目次

なお、各章の内容は次の通りです。

  • １章 Dockerとは
  • ２章 Dockerの仕組み
  • ３章 Dockerのインストール
  • ４章 Dockerを使ってみよう（コマンド編）
  • ５章 Dockerを使ってみよう（Kitematic（GUI）編）
  • ６章 Dockerイメージの操作
  • ７章 Dockerを使いこなす
  • ８章 複数のDokcerを使う（Docker Machine、Docker Swarm、Docker Compose）
  • ９章 Dockerをクラウドで使う（Docker Cloud）
  • １０章 DockerとJavaScriptでウェブサービスを作る（簡易オンラインジャッジシステム）
  • １１章 DOckerを利用した実運用ウェブサービス構築事例（paizaオンラインジャッジシステム）
  • １２章 paizaの実行環境APIを使いウェブサービスを作る（簡易オンラインジャッッジシステム）
  • １３章 Dockerの内部

9.1

  • Docker Cloudでは以下の機能を提供している
    • AWSなどのクラウドサービス上にDockerホストを構築する
    • Dockerクラスタ環境を構築する
    • アプリケーションをDockerクラスタにデプロイする(Docker Compose)

9.2~9.3

  • Docker Cloudへのアクセスは https://cloud.docker.com
    • Docker hubのアカウントがあれば、ログイン可能
  • Docker Cloudでは、AWSとAzureなどに対応している

9.4

  • クラウド上にDockerクラスタを構築する
    • "Nodes"タブを選択肢、"Launch new node cluster"ボタンを押すと、Dockerホストに関する設定が表示される

9.5

  • Docker Cloud 上ではアプリケーションやサーバーの集まりをスタックと呼ぶ
    • 複数のサービスから構成されるアプリケーションを起動するには、スタックの設定を行う(Docker ComposeのYAMLみたいな)
    • https://stackfiles.io ←のサイトにアクセスしてWordPressのスタックを作成するところだったが、サイトが存在しないためここでは行わない

次回は10章です。

4/9~4/15 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、Apache MXNet Model Server が規模に応じたモデルサービングのために最適化されたコンテナイメージを追加

２、AWS ファイアウォールマネージャー – ウェブアプリケーションポートフォリオの集中管理

  • WAFルールセットとAWS Shilrdをアカウント跨ぎで適用ができるようになる、ファイアウォールマネージャーがリリースされました
  • ファイアウォールマネージャを使うためには、Organizationを使うこと、AWS Configを有効にする必要がある、アカウント内でファイアウォールマネージャーの管理アカウントを指定する必要があります

３、AWS 構成ルールの更新: アカウントおよびリージョンにまたがる集約コンプライアンスデータ

  • AWS Configのマルチアカウント、マルチリージョンでデータ集約機能がリリースされました

４、シークレット情報の安全な格納、配布、および交換

  • AWS Secret Mangerがリリースされました
    • データベースの資格証明、パスワード、あるいは API 鍵など、アプリケーションのシークレットの管理を簡単にできるサービスです

５、AWS Certificate Managerでプライベート証明局を

  • ACMのプライベート認証局の機能がリリースされました

６、新機能 – AWS Greengrass を使用したエッジでの機械学習推論

  • Greengrasで、エッジでの機械学習推論の実行が可能になりました
    • IoTデバイスにデプロイする前に、MLモデルを構築、訓練、テストすることが可能になります

７、すべての AWS のサービスが GDPR に対応

  • AWSのサービスすべてがGDPR(EU 一般データ保護法則)に準拠しました

８、[AWS White Belt Online Seminar] AWS 利用開始時に最低限おさえておきたい 10 のこと 資料及び QA 公開

  • タイトルのWebnarの資料とQ&A公開記事です

９、[AWS Black Belt Online Seminar] Amazon Macie 資料及び QA 公開

  • タイトルのWebnarの資料とQ&A公開記事です

１０、ASLens について学ぶ – AWS DeepLens を使用してアメリカ手話の英字を音声に変換するディープラーニングプロジェクト

  • ASLensの開発者の取り組みの紹介記事です
    • ASLensはDeepLensを使った手話の音声再生システムです

１１、【開催報告】AWS 上でのデータ活用ワークショップ

  • タイトルのワークショップ開催レポート記事です

１２、[AWS Black Belt Online Seminar] Amazon Kinesis Video Streams 資料及びQA公開

  • タイトルのWebnarの資料とQ&A公開記事です

１３、AWS DMS を使用して Oracle ASM からAWSに移行する方法

  • Orcale 自動ストレージ管理(ASM)からDMSでAWSへの移行方法紹介記事です

１４、AWS Deep Learning AMI に、最適化された TensorFlow 1.7 が追加され、Amazon EC2 C5 および P3 インスタンスでの高速なトレーニングが可能に

１５、あなたが主役の自動ビデオ編集!

  • Recogniton VideoとElastic Transcoderを合わせて、ビデオ変換するための方法の紹介記事です
  • プロセスとしては以下のようなことをしています

    1.Amazon Rekognition で顔コレクションを作成し、認識するべき人を教える。 2.Amazon Rekognition Video を使って、保存されたビデオファイル内の顔を検索する。 3.顔が認識された箇所の個々のタイムスタンプを収集して、それらを定義された長さのクリップに変換する。 4.Amazon Elastic Transcoder を使用して新しいビデオを結合する。

１６、Amazon Aurora MySQLやAmazon RDS for MySQLへIAM authenticationを利用してSQL Workbench/Jから接続する

  • Aurora MySQLにつなぐためにIAM認証を使用する方法の紹介記事です

１７、[AWS White Belt Online Seminar] AWS のよくある都市伝説とその真実 資料及び QA 公開

  • タイトルのWebnarの資料とQ&A公開記事です

以上が今週のアップデートまとめになります。