2018-07-06

7/2~7/6 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、AWS Lambda がサポートするイベントソースに Amazon Simple Queue Service を追加

LambdaのイベントソースにSQSが指定できるようになりました

２、Amazon Rekognition Video を使って、スケーラブルかつ適応性のある動画処理パイプラインを構築する

動画認識処理のための Lambdaをつかっていて、パイプラインのコントロールはStepFunctionで、以下のサービスエオ動画認識処理でつかっています
- Rekognition – 個々の認識ジョブから開始し、それらからステータスと結果を取得するのに使用します
- S3 – 動画ファイルと Rekognition の未加工出力は S3に保存されます
- RDS – Amazon Rekognition のリクエストと関連データは、MySQL RDS インスタンスに格納されます

３、[AWS Black Belt Online Seminar] AWS Support 資料及び QA 公開

表題のWebnar及びQ&A資料公開記事です

４、AWS Fargate 東京リージョンサービス開始のお知らせ

Fargateが東京リージョンに来ました、AWS Summitのアナウンス通りですね

５、AWS Service Update 動画 (2018/07/05) が公開されました

表題の動画公開記事です

６、Amazon SageMaker で主成分分析を実行する

SageMaker 環境で動作する PCA及びそのメリットの紹介記事です

７、AWS PrivateLink を使用した Amazon SageMaker で、セキュアな予測呼び出し

PrivateLinkのターゲットにSageMakerが追加されました

８、AWS 責任共有モデルと GDPR

GDPRと責任共有モデルとの関連の紹介記事です
- GDPRによってこれまでの責任共有モデルが変更とならないという結論とのことです
  AWS 責任共有モデルは GDPR によってどのように変わりますか? という質問への簡易な回答は「変わりません」ということになります。

９、Amazon Linux 2 一般公開開始とオンプレミス環境での実行について

Amazon Linux2がリリースされました
- オンプレミスでも動作するようになっているようで利用料は無料です

１０、[AWS Black Belt Online Seminar] Amazon Neptune 資料及び QA 公開

表題のWebnar及びQ&A資料公開記事です

以上が今週のAWSブログアップデートまとめになります。

2018-07-01

サーバーレスシングルページアプリケーション 5章

サーバーレスシングルページアプリケーション学習ノート

タダです。

今回はサーバーレスシングルページアプリケーション5章で勉強したことをまとめていきます。 www.oreilly.co.jp

章立ては以下のようになっています。

1章　シンプルにはじめる
2章　ハッシュイベントによるビューのルーティング
3章　シングルページアプリケーションに必要なもの
4章　Amazon CognitoによるIdentity as a Service
5章　DynamoDBにデータを格納する
6章　Lambdaを使って（マイクロ）サービスを作る
7章　サーバーレスのセキュリティ
8章　スケールアップする

5章のまとめ

DynamoDBのプライマリーキーが１次元の場合、ハッシュキーという
- プライマリーキーが２次元の場合、レンジキーという
- DynamoDBはドキュメントデータベースとしても使える
  - アイテムのサイズは最大400KBまで
  - JSONドキュメントに使える
  - 属性には、数値、文字列、バイナリ、ブーリアンが使える
- DynamoDBは、書き込んでもすぐに書き込んだ値が得られない場合もある(結果整合性)
  - 読み込みには2つの方法で、結果整合性、強い整合性がある
  - データの読み込みの整合性は、通常1秒以内に保たれるため、人げとのやり取りには結果整合性のある読み込みで、プログラム的には強い整合性が必要性のある読み込みを使うべき
DynamoDBからデータを取得するためには、クエリとスキャンの2つがある
- テーブルの大量のデータを含んでいるのにスキャンをかけるとすごくじかんがあかかるので、代わりにセカンダリインデックスを使う
  - グローバルセカンダリインデックスは、テーブルのデータのコピーを含んでいるが高速にアクセスできるように別のプライマリキーでインデックスが貼られる
  - ローカルセカンダリインデックスは、テーブルと同じハッシュキーを使うがアイテムの属性に基づいて追加のインデックスを貼る
テーブル作成時にはローカルセカンダリインデックスしか作成できないが、必要があればグローバルセカンダリインデックスを追加できる
- 今回は、スクリプトで実行してテーブルを作る ./sspa create_table conf/dynamodb/tables/learnjs cognitoのアイデンティティプール名 Waiting for table creation...........done!
DynamoDBのテーブルへのアクセス制御はきめ細かな制御が可能なため必要な制御ルールが何かを検討する
- 今回は、ユーザーはlearnjsテーブルにドキュメントを作成できる必要あり
- テーブルには、ユーザーが入力した正しい解答を書き込む
- ユーザーは自分で作成したドキュメントを読めて自分のドキュメントだけを更新できる必要があり
DynamoDB二オブジェクトを書き込むとき、DyanmoDB.DocumentClientAPIを使うことでDynamoDBをドキュメントデータベースのように扱える
- オブジェクトの属性値は配列のような複合値になり、アイテムごとに属性が違っていてもよい
Defferedオブジェクトをつくって、sendDbRequest関数から返すことで他の非同期リクエストとつなげることができる
- saveAnswer関数で、Cognito IDなどの必要なフィールドを含むitemオブジェクトを作る(Cognito IDを取得してIDとユーザーが一致しなければ弾く)
- アイテムを作成後、DocumentClient.putを実行し、sendDbRequestをに渡す
- checkAnswerClickハンドラで関数を扱う

次は6章ではLambdaを使っていきます。

2018-06-29

6/25~6/29 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、トヨタ・リサーチ・インスティテュート、AWS の深層学習により安全性が高い自動運転車を世界規模で急速展開

トヨタ・リサーチ・インスティチュート社のAWSを使った自動運転に関する深層学習紹介記事です

２、Amazon SageMaker の因数分解機を使った、ムービーレコメンダーを構築する

SageMakerの因数分解機を使ったレコメンドシステムを構築する方法の紹介記事です

３、[AWS Black Belt Online Seminar] AWS Cloud9 入門資料及び QA 公開

表題のWebnar及びQ&A公開ブログです

４、[AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法資料及び QA 公開

表題のWebnar及びQ&A公開ブログです

５、AWS 機械学習ソリューションについて学べる新しいデジタルトレーニング

ML系の学習支援コンテンツ紹介記事です

６、Amazon QuickSightのプライベートVPC内のデータアクセスの設定方法について

QuickSightのプライベートVPC内のデータアクセス機能追加により、プライベートサブネットなRDS、オンプレのデータソースへのアクセスについて紹介記事です

７、XGBoost と Amazon SageMaker を使った機械学習の簡素化

SagaMakerとXGBoostというMLライブラリを使ったクレジットカードの債務不履行予測モデルを作成する方法の紹介記事です

８、Cloud Express Roadshow が開幕します

Cloud Express RoadShowというイベントの紹介記事です

９、AWS のセキュリティ動画(日本語)の公開について

AWSのセキュリティに関する紹介動画が公開されました
以下の動画について記事では紹介されてます
- 責任共有モデル
- データセンターの紹介
- GuardDuty
- Inspector

１０、Amazon SageMaker ニューラルトピックモデルのご紹介

SagMeker ニューラルトプックモデルの紹介記事です

１１、[AWS Black Belt Online Seminar] AWS Summit Tokyo 2018 の振り返りと最新アップデート資料及び QA 公開

表題のWebnar及びQ&A公開ブログです

１２、Amazon Linux WorkSpaces 提供開始のおしらせ

Amazon LinuxおよびAmazon Linux2でうごく、WorkSpacesが提供されました

１３、大阪ローカルリージョン Snowball / Snowball Edge 提供開始

大阪ローカルリージョンで AWS Snowball / Snowball Edgeが提供開始されました

１４、Amazon SageMaker が PyTorch と TensorFlow 1.8 のサポートを開始

SageMakerでPyTorchとTensorFlow1.8がサポートされました

１５、Amazon EMR のサイズ変更とオートスケーリングのベストプラクティス

EMRのサイズ変更とオートスケーリングのためのベストプラクティス紹介記事です

以上が今週のアップデートまとめです。

2018-06-24

サーバーレスシングルページアプリケーション 4章

サーバーレスシングルページアプリケーション学習ノート

タダです。

今回はサーバーレスシングルページアプリケーション4章で勉強したことをまとめていきます。 www.oreilly.co.jp

章立ては以下のようになっています。

1章　シンプルにはじめる
2章　ハッシュイベントによるビューのルーティング
3章　シングルページアプリケーションに必要なもの
4章　Amazon CognitoによるIdentity as a Service
5章　DynamoDBにデータを格納する
6章　Lambdaを使って（マイクロ）サービスを作る
7章　サーバーレスのセキュリティ
8章　スケールアップする

4章のまとめ

今回はユーザー認証・認可にCognitoを使っていく
- Cognitoはユーザーのレコードをアイデンティティプールと呼ぶ場所に格納する
- アイデンティティプロバイダーとして、Google認証を使う

Adding User Pool Sign-in Through a Third Party - Amazon Cognito

書籍では、Google Devleopers Consoleと記載されているが現在はGCPのAPIとサービスに統合されている模様
- 以下の箇所にGoogleで取得したクライアントIDを埋め込む

{
    "AllowUnauthenticatedIdentities": false,
    "SupportedLoginProviders": { #SupportedLoginProvidersがIDプロバイダとCognitoのトークンを検証するIDのリストを表す
        "accounts.google.com": "<ここに転記する>"
    }
}

./sspa create_pools を実行すると実行結果に応じて以下のファイルが生成される
- pool_info.json : cognitoのアイデンティティプールの情報
- assume_role.json,role_info.json : cognitoの利用するIAMロールの情報
Google認証を使うために、Googleが提供するJavaScriptライブラリを設定して、View側でログインボタンを追加する
- そのためにGoogle JavaScript API(gapi)を取り込むscript要素を追加する

<script src="https://apis.google.com/js/platform.js" async defer></script>

ライブラリーの設定は、head要素にmeta要素を追加する

<meta name="google-signin-client_id" content="GoogleのクライアントID">

Google　APIがコールバックとして使う関数を定義する
- これが認証が成功すると実行される

function googleSignIn() {
  console.log(arguments);
}

ログインボタンをGoogle側に連携する必要があるため、div要素を追加する

<div class='nav-container no-select fixed-top u-full-width'>
    <ul class='inline-list hover-links nav-list six columns'>
    <li><a class='text-lg' href="#">LearnJS</a></li>
    <li><a href="#problem-1">Start</a></li>
    </ul>
    <div class='four columns'>
        <span class='navbar-padding u-pull-right'>
        <span class="g-signin2" data-onsuccess="googleSignIn"></span>
        </span>
    </div>
</div>

デプロイすると、ログインボタンが表示されてGoogle認証ができるようになる
Googleの認証ができるようになったからトークンを取得したのち、Cognito認証情報を生成できるようになる
- CognitoIdentityCredentialsオブジェクトを使って、アプリケーションで認証されたユーザーはAWSサービスに直接アクセスできる
- トークンは一時的な期間しか有効でないのでトークンを更新する処理を追加する
プロファイルビューを作ることで、ユーザーにアプリがどんな情報を持っているかを知らせることができる

次は5章ではDynamoDBでのデータ追加、CognitoをIAMロールで操作していきます。

2018-06-23

『はてな・ペパボ技術大会 #4 〜DevOps〜 @京都』で各社の取り組みを聞いて色々考えた話

勉強会 DevOps レポート

タダです。

今日、京都はてなさんのオフィスにて開催された、『はてな・ペパボ技術大会 #4 〜DevOps〜 @京都』に参加してきました！ hatena.connpass.com

「Effective DevOps - 4本柱による持続可能な組織文化の育て方」を買って読み進めようとしているところ、ジャストフィットのイベントを開催するときき、京都まで行ってきました！

サービスを開発・運営する現場でDevOpsという言葉が使われるようになってから大分経ちますが、最近、書籍 Jennifer Davis、Ryn Daniels著「Effective DevOps - 4本柱による持続可能な組織文化の育て方」の邦訳刊行もあり、改めてDevOpsに注目が集まっているように感じます。DevOpsの概念は単なる開発者と運用者の関係性の話だけではなく、組織文化の話にも広がってきています。

ペパボ・はてな両社もそれぞれ長年サービスを継続的に開発・運営してきた中で、自然とDevOpsと言えるような活動に取り組んできました。両社のDevOpsはそれぞれ奇しくも今一つの転換期を迎えようとしています。その中での取り組みやこれまでの歴史について、両社の事例や現在のチャレンジをご紹介します。