2018-02-04

1/29~2/4 AWSブログ

AWS

タダです。

今週のAWSブログのアップデートをまとめていきます。

１、水門は開いた – EC2 インスタンスのネットワーク帯域幅が増大

EC2の帯域幅が増大しました。以下の恩恵が得られます。
- EC2とS3間の送受信通信量は、帯域幅で最大25Gbps利用できる
- EC2同士は、同一リージョン内でシングルフロー通信の場合最大 5Gbps、マルチフロー通信の場合最大 25Gbps利用できる
- クラスタープレイスメントグループのEC2同士は、シングルフロー通信では低レイテンシの10Gbpsを、マルチフロー通信では低レイテンシの 25Gbpsの通信を利用できる
本アップデートはENA対応のAMIに有効で、対象はAmazon Linux、Ubuntu14.04及び16.04、RHEL7.4、SLES12、Windows Server 2008 R2、2012、2012 R2、2016になります

２、AWS DeepLens Lambda 関数と最新 Model Optimizer を深く知り尽くす

DeepLensのモデル最適化をLambdaで利用する場合の実装方法を紹介した記事です

３、チャットボットにウェブ UI をデプロイする

Lexで作ったチャットbotをWebUIにデプロイできるようになりました
CloudFormationでサーバーレスで構築するチェットボットのテンプレートも紹介されています

４、Amazon Comprehend を使用したカスタマーレビューからのセンチメントの検知

Amazon.comのレビューコメントをComprehendで分析するアーキテクチャの紹介記事です
- Athenaでクエリを投げてレポートを生成することもカバーしています
ちなみにComprehendのトレーニングデータはAmazon.comのものが大半だそうです

５、Zocdoc は AWS で TensorFlow を使用し患者の信頼を築きます

ZocdocというサービスでAWSのDeepLearning用のAMIを使って、KerasとTesorflowを使ってPoCを行った時の紹介記事です
利用者はIDカードの写真をとるだけで保険の適用範囲、保険給付金、自己負担金を計算することが可能とのことです Zocdoc: Find a Doctor, Reviews, & Book Appointments

以上が今週のアップデートまとめになります。

2018-01-28

1/22~1/28 AWSブログ

AWS

タダです。

今週のAWSブログアップデートまとめをしてきます。

１、Amazon SageMaker BlazingText: 複数の CPU または GPU での Word2Vec の並列化

SageMakerのアップデートでBlazingTextの利用ができるようになりました
BlazingTextは、Word2Vec 埋め込みを生成するための教師なし学習アルゴリズムになりますが、このブログではWord2Vecの実装する話とSageMakerでの処理の話を紹介しています

２、最新 EC2 Goodies – 起動テンプレートとスプレッドプレイスメント

EC2の起動テンプレートの紹介と、EC2起動テンプレートのプレイスメントグループ版である、スプレッドプレイスメントグループの紹介ブログです

３、Microsoft Azure SQL Database から Amazon Aurora への移行

DMSをつかってAzure SQL DatabaseからAuroraへの移行紹介記事です

４、AWS データセンターのセキュアな設計について

AWSのデータセンター内を見学できるサイトが公開されました
AWSのデータセンターは通常見学はできないため、貴重な情報得られるかもしれません aws.amazon.com

５、暗号化されたスナップショットを Amazon Aurora PostgreSQL へ移行可能になりました

RDS for PostgreSQLの暗号化されたスナップショットから Aurora PostgreSQL へ移行できるようになりました
RDS からAurora へ移行中の間も、データ暗号化を維持できます

６、Amazon RDS for PostgreSQL から Amazon Aurora PostgreSQL リードレプリカを作成可能になりました

RDS for PostgreSQLのリードレプリカからAurora PostgreSQLへの移行ができるようになりました
この方法でMySQLからAurora MySQLへ移行した方もいるので有用な方法になると思います

７、Amazon Aurora under the hood: Z-order curvesを用いたgeospatial indexの作成

位置情報を扱うアプリケーションのデータベースでAuroraを使う場合のインデックスはどうすべきかを解説する記事です
この記事では、「space-filling z-order curves」というインデックスが紹介されています

８、プロセッサの投機的実行 – オペレーティングシステムの更新

CPU脆弱性対策の情報のアップデート記事です
おおよそのAMIでは今回の対策を行っているので、新規にEC2を構築するときは最新のAMIを使うのがベターでしょう

９、新規 – リージョン間 VPC ピアリング

リージョン間でVPCピアリングできる対応リージョンが拡大しました
東京はまだですががが、、、

１０、NNPACK ライブラリを使用した Apache MXNet の高速化

NNPACK ライブラリを使用して推論を高速化する方法の紹介記事です

１１、東京リージョンに新たにアベイラビリティゾーンを追加

東京リージョンに新たにアベイラビリティゾーンが追加されました
現行世代のVPCを使う場合、3つのAZが使えます

１２、高い可用性を持つ IBM Db2 データベースをAWS上に構築する

IBM DB2をAWS上に構築するためのCloudFormationの紹介記事です
このCloud Formationテンプレートを使えば、クラスター構成(EC2で)を作れます

１３、AWS Glue がScala をサポートしました

GlueのETLを行う言語として、Scalaがサポートされました

１４、ユニシスメインフレームからAWSへの5ステップでの移行

Astadia社が取り組む、ユニシスメインフレームを使ったAWSへの移行の紹介記事です
次の5つのステップを取り組んでいるとのことです
分析 2.デザイン 3.最適化 4.テスト 5.実装

以上が今週のアップデートまとめです。

2018-01-28

ゼロから始めるディープラーニング 3章(3.4~3.7まで)

ゼロから始めるディープラーニング学習ノート

タダです。

今回は３章のニューラルネットワークの勉強まとめです。 ※記事は理解ができるたびに何度もアップデートしていこうと思います。 www.oreilly.co.jp

3.4

ニューラルネットワークの計算は行列の計算(内積)としてまとめられる
第一層目の重みは(1)で表現する
- w 1(次層の１番目のニューロン)2(前層の2番目のニューロン)で表現する
- 第一層目の重みつき和は次のようにまとめられる
  - a(1) = XW(1) + B(1)
- 活性化関数をzで表すと以下のようになる
  - z(1) = a(1)
恒等関数とは、出力層の活性化関数として利用される(入力をそのまま出力する)
init_network()関数で重みとバイアスの初期化を行い、それらをディクショナリ型の変数networkに格納
forward関数では、入力信号から出力へと変換されるプロセスがまとめて実装されている

3.5

ニューラルネットワークは分類問題(データがどのクラスに属するか)と回帰問題(ある入力データから連続的な数値の予測を行う)の両方に用いることができる
- 分類問題ではソフトマック数関数を、回帰問題では恒等関数を使う
ソフトマックス関数の実装では、指定関数の計算を行うがその際指定関数の値が容易に大きな値になってしまう(オーバーフロー)から注意
- オーバーフローの対策としては、入力信号の中で最大の値を用いることが一般的
出力層の数は解くべき問題により適宜変更する

3.6

手書き数字画像の分類を学ぶ(すでに学習は完了している)
- 推論処理(forward propagation)だけを実装する
データセットは、MNISTという手書き数字の画像セット
- MNISTデータセットは、0から9までの数字画像から構成される
- 訓練画像が6万枚、テスト画像が1万枚よういされ、学習と推論を行う

3.7

ニューラルネットワークの順方向の伝搬の解説を行った
ニューロンのへ信号を送信する際に、信号を変化させる活性化関数に大きな違いがある
- シグモイド関数、ステップ関数など
機械学習の問題は、回帰問題と分類問題に大別できる
出力層で使用する活性化関数は、回帰問題では恒等関数、分類問題ではソフトマックス関数を利用する
分類問題では出力層のニューロンの数を分類するクラス数に設定する
入力データのまとまりをバッチといい、バッチ単位で推論処理を行うことで計算を高速にできる

3章は何度も読み返そうと思います。。次からは４章になります。

2018-01-21

ゼロから始めるディープラーニング 3章(3.3まで)

タダです。

前回から引き続き３章のニューラルネットワークの勉強まとめです。 ※記事は理解ができるたびに何度もアップデートしていこうと思います。 www.oreilly.co.jp

目次
- ※1/21 23:30時点では3.3までの内容です
3.3

3.3

Numpyの多次元配列を使った計算をマスターすればニューラルネットワークの実装を効率的に進めることができる
多次元配列 = 数字の集合
行列の内積は左側の行列の行(横)と右側の行列の列(縦)を乗算したその和が結果になる
行列の形状(Shape)については注意する
- 行列Aの1次元目の要素数(列数)と行列Bの0次元目の要素数(行数)を同じ値にする必要がある
ニューラルネットワークの内積もdot(多次元配列のドット積)を使えば計算が容易になる

3.4の内容が難しい...

2018-01-21

1/15~1/21 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、AWS CloudTrail が Amazon SageMaker で利用可能に

CloudTrailのログをSageMakerに統合して利用が可能になりました

２、AWS DMS と Amazon Kinesis Data Firehose を利用した Aurora PostgreSQL データベースへのストリームデータのロード

Kinesis Firehoseでストリーミングされてくる情報をLambdaでJSONからCSVへ変換してS3に保管する
- S3にいれたCSVデータをDMSがロードしてAurora PostgreSQLに投入するアーキテクチャの紹介記事です
リアルタイムのデータを分析するのに役立ちます

３、ロンドンに 3 番目の AWS アベイラビリティーゾーンを開設

ロンドンリージョンに3つ目のAZができました

４、Microsoft Excel を使った Amazon Lex チャットボットの構築

Excelに書いたよくある質問を読み込んで、Lexに回答させるアーキテクチャの紹介記事です
デプロイはSAMを使っています

５、新しい AWS Auto Scaling – クラウドアプリケーションのための統合スケーリング

AutoScalingでは、スケーリングポリシーを設定するだけでよくなりました(設定が簡易になるアップデートです)
現在東京リージョンでは提供されていません

６、Amazon RDS for MySQLとMariaDBのログをAmazon CloudWatchで監視出来るようになりました

RDS for MySQLとMariaDBのログをCloudWatch Logsに直接保存できるようになりました
すべてのデータベースエンジンでのアップデートをしてほしいです

７、Amazon RDS for PostgreSQL が新しいマイナーバージョン 9.6.6, 9.5.10, 9.4.15, 9.3.20 をサポート

PostgreSQLの3つのセキュリティ脆弱性対応で、9.6.6, 9.5.10, 9.4.15, 9.3.20のマイナーバージョンサポートが発表されました

８、機械学習と BI サービスを使用してソーシャルメディアダッシュボードを構築する

サーバーレスのデータ処理と機械学習 (ML) パイプラインを構築し、QuickSight でツイートの多言語ソーシャルメディアダッシュボードを提供する方法の紹介記事です
TwitterのツイートをKinesis FirehoseでS3に保存し、LambdaがロードしたデータをTranslateとComprehendで分析を行い、分析したデータをKinesi Firehoseで別のS3バケットに保管します
分析したデータをAthenaとGlueで抽出して、QuickSightで可視化します