サーバーレスのデータ処理と機械学習 (ML) パイプラインを構築し、QuickSight でツイートの多言語ソーシャルメディアダッシュボードを提供する方法の紹介記事です
TwitterのツイートをKinesis FirehoseでS3に保存し、LambdaがロードしたデータをTranslateとComprehendで分析を行い、分析したデータをKinesi Firehoseで別のS3バケットに保管します
分析したデータをAthenaとGlueで抽出して、QuickSightで可視化します

９、AWS KMS ベースの暗号化を Amazon SageMaker のトレーニングおよびホスティングに使用できるようになりました

SageMakerで使用するストレージにKMSを使った暗号化が可能になりました

以上が今週のアップデートまとめです。

2018-01-14

ゼロから始めるディープラーニング 3章

ゼロから始めるディープラーニング学習ノート

タダです。

今回は３章のニューラルネットワークの勉強まとめです。 ※記事は理解ができるたびに何度もアップデートしていこうと思います。 www.oreilly.co.jp

目次
- ※1/14 12:19時点では3.2までの内容です
3.1
3.2
参考

3.1

ニューラルネットワークの特徴は、入力層、中間層(隠れ層)、出力層で構成される
活性化関数(入力信号の総和を出力信号に変換する関数、式で表すとh(x))では、次の様にパーセプトロンの式に書き換え可能
- a = b +w1x1 + w2x2
- y = h(a)
- 重みつき入力信号とバイアスの総和を計算し、それをaとし、aがh()で変換されyが出力される

3.2

ニューラルネットワークで使われる活性化関数としてシグモイド関数がある
- シグモイド関数で、信号の変換を行い、変換された信号が次のニューロンに伝えられる
- https://mathtrain.jp/sigmoid
ステップ関数は入力値として浮動小数点数のみ扱える(出力は0か1を返す)
- ステップ関数は階段関数とも言われる
ステップ関数とシグモイド関数を比較すると、グラフで表示した時の滑らかさに違いがある
- ステップ関数は0を境に出力の変化がある
- シグモイド関数は滑らかな曲線で表現される(入力に対して出力も連続的に変化する)
  - 出力はステップ関数が0か1の値しか返さないのに対して、シグモイド関数は実数を返すという点も違う
  - ニューラルネットワークでは連続的な実数値の信号が流れる
最近ではReLU(Reactified Linear Unit)関数が主に使われる
- 入力が0をこえていれば、その入力をそのまま出力する関数

参考

2018-01-14

1/7~1/14 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、Amazon EMR での Spark にバックアップされた Amazon SageMaker ノートブックの構築

Amazon SageMakerはデータサイエンスと機械学習ワークフローのためのフルマネージド型サービスで、JupyterNotebookがインターフェースとなります
EMRのLivyを使ってSageMakerを連携し、Sparkをもちいたノートブックの構築を紹介するブログです

２、今すぐ利用可能: AWS で使用する Machine Learning や人工知能について学べる新しいデジタルトレーニング

AWSで無料の機械学習やディープラーニング、AIを学ぶための講座がオープンしました
有料のコースもある様です(1日かけて学ぶコース)
- AWS トレーニング | Deep Learning on AWS

３、AWS オンラインテックトーク – 2018 年 1 月

Webinar紹介記事です
- 1月はAmazon Neptune、Amazon Rekognition Video、AWS Fargate、AWS Cloud9、Amazon Kinesis Video Streams、AWS PrivateLink、AWS Single-Sign Onなどre:Inventでリリースされたサービスを紹介される様です

４、Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム

SageMakerの内部アルゴリズムとしてDeepARを組み込んでリリースされました
- DeepARはポイント予測と確率的予測の両方を生成するために再帰型ニューラルネットワーク (RNN) を使用する時系列予測の教師あり学習アルゴリズムです
学習用のジョブのセッティングについても紹介されています

５、プロセッサの投機的実行に関する調査の公開について

InterlのCPU脆弱性調査に関する記事です
細かく見ると、アップデートだけじゃパッチがで起用されないものがあるので注意が必要です
Server 2008R2 および 2012R2 のパッチは現在 Windows Update にて利用できず、手動でダウンロードする必要があります。Microsoft はこれらのパッチは1月9日火曜日に Windows Update にて入手可能となると案内していましたが、引き続き Microsoft からの情報待ちとなっています。

６、CES におけるコネクテッドカーのための AWS IoT、Greengrass、および AWS Machine Learning

AWSがパーソナライズされた車内での体験サービスやコネクテッドカーに使われているアーキテクチャの紹介記事です
日本の事例としてデンソーさんが紹介されています www.youtube.com

７、Amazon RDSのリードレプリカがMulti-AZ配置をサポートしました

RDSのリードレプリカがMulti-AZ対応しました
今回の対応で、DR対策やメンテナンス対策に役立てることができます

８、AWS FinTech リファレンス・アーキテクチャー日本版の公開について

FinTechリファレンスアーキテクチャの日本語版がリリースされました
次の3つのリファレンスが含まれています
「AWS FinTech リファレンス・アーキテクチャー日本版のホワイトペーパー」、「AWS FinTech リファレンス・ガイド日本版」、「AWS FinTech リファレンス・テンプレート日本版」

以上が今週のアップデートまとめになります。

2018-01-08

Redashを触ってみた

学習ノート Redash

タダです。

前々から気になっていたRedashを id:kakku22 さんの資料を参考に触ってみたので、

簡単に所感をまとめます。

kakakakakku.hatenablog.com

教科書 github.com

Redashとは

そもそもRedahは、データソース(MySQLとか)のデータをダッシュボードを作って可視化したり、シェアするためのツールです。

サポートしているデータソース

サポートしているデータソースは、次のものです(2018年1月8日時点)

Amazon Ahtena
Aurora
DynamoDB
Redshift
Casandora
Axibase Time Series Database
Clickhouse
ElasticSearch
Google Big Query
Graphite
Greenplum
Hive
Impale
Influx
Microsoft SQL Server
MongoDB
PostgreSQL
Oracle
MySQL
Presto
ScyllaDB
TreasureData
Vertica

今回触ってみての感想

資料の内容がDocker Composeを使うため、Docker for MacやDocker for Windowsが必要(初めてDocker Composeを触ってみて勉強になった)
予めMySQLにデータを入れてくださっていたので大変助かった
データを抽出して、ダッシュボードを作ってみたけど、簡単に作れる(一定のるーるはあるものの)
抽出したデータをCSVかExcelでダウンロードできるからデータの管理が厳しい状況でも対応できそう
アラート機能もあるのでデータの変化に気づける(Email,Webhookなど)
頻繁に使う表現を登録するクエリスニペットは、便利そう
当然だけど、クエリ書けないと使えこなせない..
Docker勉強したらローカルで簡単にこういった環境を即時に立ち上げられるから勉強会とかで便利だろうな(勉強しよう)