継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

8/20~8/25 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、人工知能 (AI) ハッカソンの開催 (機械学習とサーバーレス API を使用したインテリジェントアプリケーションの開発)

  • AWSが人工知能ハッカソンを開催します
    • お題はサーバーレスAIアプリを作ります
  • 要件は以下の通り

    次の言語/画像処理 API サービスのうち、2 つ以上を使用してください。Amazon Comprehend、Amazon Transcribe、Amazon Polly、Amazon Lex、Amazon Translate、Amazon Rekognition。

    アプリケーションコードの実行には、AWS Lambda をしようしてください。たとえば、Amazon S3 への画像のアップロードや HTTP 通信などのイベント発生時に、Lambda を使用して言語/画像処理 API サービスを呼び出すことができます。また、他の AWS サービスへの出力の格納/処理に使用することもできます。

２、AWS PrivateLink を使用してすべての Amazon SageMaker API コールを保護する

  • SageMakerのAPI操作をPrivatelink経由利用が可能になりました

３、“医療情報システム向け「Amazon Web Services」利用リファレンス”の公開：APN パートナー各社

  • 医療情報システム向けのAWS利用リファレンス情報が公開されました

４、Amazon Kinesis Data Streams に新しい機能が加わりました。

  • Kinesis Data Streamsに2つの新しい機能が追加されました
    • 拡張ファンアウト：開発者が各ストリームコンシューマーにそれぞれの読み取り処理量を提供することにより、ストリームコンシューマー (リアルタイムでのストリームからのアプリケーションの読み取りデータ) の数を増加させること
    • HTTP/2データ他取得：一般的なシナリオでデータをプロデューサーからコンシューマーに70ミリ秒以内に配信できるようになる

５、新しいインスタンス、 t3インスタンスがリリースされました

  • tシリーズインスタンスに新しくt3インスタンスが追加されました
    • t2よりコスト効率がよい、CPUのパフォーマンスが上がっているなどの改善があるうです

６、動的なDeepLearningによる時系列データの予測

  • 深層学習 RNN アーキテクチャを開発し、特定のユースケースに合わせてカスタマイズする方法、ARIMAx と DeepAR の 2 つの追加の予測方法を実装する方法、および Amazon SageMaker の弾性的にスケーラブルで本番に対応した環境を用いてパフォーマンス結果をベンチマークする方法について紹介記事です

７、Amazon SageMaker を利用して都市の空気汚染データをもとに天気への影響を予測するモデルを構築する。

  • SagaeMakerを使って選択した都市の大気汚染物質 (NO2) と天気の関係を予測するモデルを構築するための紹介記事です

８、AWS Innovate ML Live Day が 開催されます

  • AWS Innovateの紹介と、その中でも機械学習トラックの紹介記事です

以上で今週のAWSブログまとめになります。

8/13~8/19 AWSブログ

AWS

タダです。

今週のAWSブログのアップデートをまとめていきます。

１、[AWS Black Belt Online Seminar] Amazon QuickSight アップデート：一般公開後に追加された特徴的な新機能 資料及び QA 公開

  • 表題のWebinarの資料及びQ&A公開ブログです

２、Amazon Translate が Memsource 翻訳管理システムで利用可能に

  • Memsourceの翻訳システムでAmazon Translateを使っているという紹介記事です
  • MemsourceとTranslateの連携は、APIを介して実現しています

３、Curalate は、AWS で Apache MXNet を使用して AI によるソーシャルセールを行う

  • Curalateは、Apache MXNetの深層学習を使って、ソーシャルメディアによる製品発見の促進の仕組みを実現しているという事例記事です

    MXNet を使用して、Curalate は AWS で実運用モデルを迅速に構築およびデプロイすることができます—Amazon EC2 P3 インスタンスでモデルをトレーニングし、Amazon S3 からデータを取得して API サービスで描く—取り込んで分析する必要がある画像を何百万も与えられる厳しい挑戦です。高度な API インターフェイスである MXNet と Gluon により、Curalate はトレーニングのスピードを犠牲にすることなくエンドツーエンドのモデル開発を効率化することができました。

４、Aurora Serverless MySQL の一般利用が開始

  • Aurora Serverless MySQLがGAしました

  • 東京でも利用できますが、ユースケースとしては以下のようなものです

    ユースケースは主に、不定期使用のアプリケーション、新規アプリケーション、可変ワークロード、予測不能なワークロード、開発およびテスト用のデータベース、マルチテナントのアプリケーション、などそのパフォーマンスがあらかじめ予測がしづらい、かつ一定ではないワークロードを想定しています。

  • サービス利用上の主な制限が以下にあります

MySQL 5.6 互換の Aurora のみ対応

接続ポートは3306で固定

Aurora サーバーレス DB クラスターにパブリック IP アドレスを割り当てることはできず、VPC 内からのみアクセス

クラスターのエンドポイントには、AWS VPN 接続やリージョン間 VPC ピアリング接続を介してはアクセスできない。リージョン間 VPC ピアリング接続を介したクラスターのエンドポイントへのアクセスには制限が存在。

以下のクラスターレベルのパラメータのみ変更可能。

character_set_server

collation_server

lc_time_names

lower_case_table_names

time_zone

Auroraに存在している以下の機能は未サポート

Amazon S3 バケットからのデータの読み込み

Aurora MySQL ネイティブ関数での AWS Lambda 関数の呼び出し

高度な監査

Aurora レプリカ

バックトラック

データベースのクローン化

IAM データベース認証

クロスリージョンリードレプリカ

MySQL DB インスタンスからのスナップショットの復元

Amazon S3 からのバックアップファイルの移行

Secure Sockets Layer (SSL) による DB クラスターへの接続

５、【開催報告】Amazon Analytics （Data Lake）セミナー ～AWSで実現するビッグデータ＆ログ分析およびデータレイクの構築～

  • 表題のイベント開催レポート記事です

６、身元確認に Amazon Rekognition　を使うことで、これまで銀行を利用できなかった人々を自立させた Aella Credit社

  • Aella Credit社による銀行の利用者の身元確認にAmazon Rekognition利用事例紹介記事です

７、Amazon Rekognition Video を使用して、大規模なコンテンツを簡単に管理できる自動アラートシステムを構築する

*Amazon Rekognition Video を使用してコンプライアンスとモデレーションを強化するために、ビデオコンテンツを評価するためのサーバーレスアーキテクチャを構築する方法の紹介記事です * Amazon Rekognition Video は、物体の経路を追跡し、アクティビティを検出し、物体、有名人、コンテンツのタイプを認識する、深層学習による動画分析サービスです。Amazon Rekognition Video は明示的で疑わしいコンテンツを検出できるため、アプリケーションやコンプライアンスの要件に基づいてビデオをフィルタリングできます。

以上が今週のAWSブログアップデートになります。

【17日目】毎日勉強や

日記 学習ノート Jenkins MySQL Nginx

タダです。

日課

Python文法

特に追加で学んだことなし

100本ノック

着手できず。。

ISUCON

MySQL

MySQLの画像データをエクスポートするコマンド

select data into dumpfile '出力先のパス' from テーブル名

Nginx

静的ファイルを配信するためのオプションで設定した

gzip_static on;

GitLabからJenkinsへWebhook

Jenkinsのジョブを起動するためにGitLabのWebhookを使った時に学んだ情報整理します。

手順

  1. GitLabのWebhook設定をする(マージリクエスト後にJenkinsジョブを起動させたいから、MergeRequest Eventをチェックする)
  2. WebhookのURLを飛ばすジョブごとに設定する
  3. JenkinsのGitLab PluginでMerge Requestで動作させたいイベントを設定する

参考

qiita.com

明日もがんばるぞい

8/6~8/11 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、新機能 – Amazon Elastic File System (EFS) のプロビジョンドスループット

２、AWS IoT Device Defender が利用可能に – 接続されたデバイスを安全に保つ

  • AWS IoT Device Defenderがリリースされました

３、教師あり学習に Amazon SageMaker の Amazon Mechanical Turk を使用する

４、Amazon Dynamo DB グローバルテーブル 東京リージョン対応のお知らせ

  • DynamoDBのグローバルテーブル機能が東京リージョン対応しました
    • グローバルテーブルの機能でマルチリージョン、マルチマスターのデータベースが使えるようになります

５、Amazon RDS for MySQLの delayed replicationで障害から復旧を行う

  • delayed replicationを使用して、誤ってプライマリデータベースのテーブルを削除した場合にレプリケーションしないようにする方法の紹介記事です

６、[AWS Innovate プレセミナー] クラウドクラウド活用に必要な、クラウド推進組織の作り方・クラウド人材の育て方

  • 表題のイベント紹介記事です

７、Thorn が児童性的虐待、児童売買との闘いで Amazon Rekognition と連携

  • ThornによるRekognition利用事例の記事です

８、自分で事前にトレーニングした MXNet または TensorFlow のモデルを Amazon SageMaker に導入する

  • TensorFlowまたはMXNet でトレーニングした自分のモデルを SageMaker にデプロイする方法の紹介記事です
  • デプロイプロセスの概要は以下の通りです

    ステップ 1: モデル定義を、選択したフレームワークで記述します。

    ステップ 2: モデルを、そのフレームワークでトレーニングします。

    ステップ 3: モデルをエクスポートし、Amazon SageMaker が理解できるモデル成果物を作成します。

    ステップ 4: モデル成果物を Amazon S3 バケットにアップロードします。

    ステップ 5: モデル定義、モデル成果物、Amazon SageMaker Python SDK を使用して、SageMaker モデルを作成します。

    ステップ 6: SageMaker モデルをエンドポイントとしてデプロイします

９、Amazon SageMaker MXNet 1.2 コンテナの発表

  • SageMakerでMXNet1.2をサポートしました

１０、Twilio が、Amazon Polly との統合で、幅広い音声選択を顧客に提供

  • TwilioとPollyが統合できるようになりました

１１、[AWS Black Belt Online Seminar] 大阪ローカルリージョンの活用とAWSで実現するDisaster Recovery 資料及び QA 公開

  • 表題のWebnar資料及びQ&A公開記事です

１２、[AWS Black Belt Online Seminar] AWS Service Catalog 資料及び QA 公開

  • 表題のWebnar資料及びQ&A公開記事です

１３、[AWS Black Belt Online Seminar] S3ユースケース紹介及びサービスアップデート解説 資料及び QA 公開

  • 表題のWebnar資料及びQ&A公開記事です

１４、[AWS Black Belt Online Seminar] クラウド設計・運用のベストプラクティス集 “AWS Well-Architected Framework” 資料及び QA 公開

  • 表題のWebnar資料及びQ&A公開記事です

１５、AWS Service Update 動画 (2018/08/09) が公開されました

  • 表題の動画公開記事です

１６、AWS アカウント 無料利用枠の確認方法について

  • AWSアカウントの無料利用枠に関するまとめ記事です

１７、Amazon Rekognition を利用して人身売買と戦う Marinus Analytics 社

  • Marinus Analytics 社によるRekognition利用事例の紹介記事です

以上が今週のアップデートまとめになります。

【16日目】毎日勉強や

ISUCON MySQL Ubuntu Redis 日記 学習ノート

タダです。

大阪出張から帰ってきてから更新滞ってました。。来月ISUCONに出るんですが、その勉強を定期的にしているのでそのまとめてこうと思います。 環境は、ConohaのISUCON7のサーバーです。

ISUCON関連(準備作業中心)

.gitignoreテンプレート

.gitignoreのテンプレートがあるようなのでこれを使います。

github.com

Bitbucketの設定

Bitbucketのアカウント取得とリポジトリを作った後にSSH認証鍵を設定しました。

Host bitbucket.org
    User git
    Port 22
    HostName bitbucket.org
    identityFile 秘密鍵のパス
    TCPKeepAlive yes
    IdentitiesOnly yes
  • Bitbucketへ公開鍵を登録(アカウントの管理より)
  • 接続テスト
ssh -T git@bitbucket.org
The authenticity of host 'bitbucket.org (xxx.xxx.xxx.xxx)' can't be established.
RSA key fingerprint is SHA256:xxxxx.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'bitbucket.org,xxx.xxx.xxx.xxx' (RSA) to the list of known hosts.
logged in as xxxxxx.

You can use git or hg to connect to Bitbucket. Shell access is disabled.
  • clone
git clone git@bitbucket.org:ユーザー名/リポジトリ.git

qiita.com techacademy.jp

MySQLの初期データインポート

MySQLの初期データを投入する作業がありました。

zcat [インポートするデータファイルの対象パス | sudo mysql データベース名 default-character-set=utf8mb4

virtualenv起動/終了

仮想環境の起動

source venv/bin/activate

仮想環境の終了

% deactivate

UbuntuにRedisをいれる

コマンド一発っすね

sudo apt-get install redis-server

hiredisを入れる

virtualenv環境でpip使う

source venv/bin/activate
% pip  install hiredis