継続は力なり

タイトル通り定期的な更新を心掛けるブログです。

11/4~11/10 AWSブログ

タダです。

今週のAWSブログアップデートをまとめていきます。

今週は記事が大量にアップデートされているので、更新できるタイミングで更新していきます。

今週のアップデートタイトル

1、AWS DevDay Tokyo 2018 Database トラック資料公開

  • 表題の通りの資料が公開されたアナウンス記事です

2、Amazon SageMaker Jupyterノートブックを使用してAmazon Neptune グラフを分析する

  • SageMaker ノートブックを Amazon Neptune データベースに接続してクエリをして結果を視覚化する方法の紹介記事です
    • 上記の環境を作るためのCloudFormationテンプレートも紹介されています

3、地震を追跡中: Amazon Redshift によりETL処理を通じて視覚化のための非構造化データセットを準備する方法

  • Matillion ETL for Amazon Redshift を使用して、S3、Athena、Amazon Redshift の間のさまざまなデータ処理タスクの活動を編成する方法の紹介記事です

4、パフォーマンスの重要性: Amazon Redshift で実環境のワークロードが 3.5 倍の速さに

  • Redshiftのパフォーマンス改善に関する紹介記事です

5、Amazon RDS for SQL Server でデータベースメールをパワーアップ – アンダーアーマーが Amazon RDS for SQL Server でデータベースメールを運用する方法

  • アンダーアーマー社ではSQL Serverからメールを送っていたがRDSではメールの送信がサポートされてなかったため、EC2とSESを使って問題を解決するための手法紹介記事です

6、CSVデータセットのPipeモードを使って、Amazon SageMaker内蔵アルゴリズムでトレーニングがより早く

7、AWS での SQL Server のパフォーマンスベンチマーク

8、AWS Quest 2 – re:Invent への道

  • re:Invent内でのイベント紹介記事です

9、Amazon CloudWatch を使用して Performance Insights メトリックにアラームを設定する

  • RDSのパフォーマンインサイトの機能を使うとCloudWatchからアラームを飛ばせるという紹介記事です
  • 以下のメトリックスが有効化されており、それぞれの監視するステータスは以下の通りです
    • DBLoad : 同時にアクティブとなるデータベース接続数の尺度
    • DBLoadCPU : CPU 上でアクティブかつ実行可能なデータベース接続の数
    • DBLoadNonCPU : 接続が I/O、ロック、データベースバッファーなどのデータベースリソースを待機していた時間

10、SGK が RDBMS から Amazon DynamoDB に移行することにより、高度に動的なワークロードのデータ構造を簡素化する方法

  • SGK社のDynamoDB移行に関する設計の紹介記事です

11、Amazon Elasticsearch Service のインプレースバージョンアップグレード

  • Elasticserch Serviceでの5.1 Elasticsearch ドメインから 6.3 Elasticsearch ドメインに移行する方法紹介記事です

12、ProxySQL と Percona Monitoring and Management で、Amazon RDS for MySQL のデプロイを強化する

  • RDS for MySQLと、ProxySQL、Percona Monitoring and Managementを組み合わせてRDS for MySQLのデプロイを強化する方法の紹介記事です

13、AWS re:Invent 2018 で開催予定の Amazon DynamoDB セッション、ワークショップ、およびチョークトークのご案内

  • 表題のアナウンス記事です

14、Oracle データベースでの Amazon EBS エラスティックボリュームの使用 (パート2): LVMを 使ったデータベース

  • ストレージ管理に LVM を使用する Oracle データベースであるEC2 のストレージレイアウトについて検討し、可用性に影響を与えることなくデータベースストレージを拡張する方法の紹介記事です

15、Oracle データベースでの Amazon EBS エラスティックボリュームの使用 (パート 3): Oracle ASM を使ったデータベース

  • Oracle Automated Storage Management (Oracle ASM) を使った Oracle データベース用EC2 のストレージレイアウトについて解説記事です
  • 可用性に影響を与えずに、データベースストレージを拡張する方法とOracle データベースでエラスティックボリュームを使用する利点についても紹介しています

16、Amazon QuickSight でメールレポートとデータラベルのサポートを開始

  • QuickSight で利用できるようになった、メールレポートとデータラベルの紹介記事です

17、Pagely が、カスタマーサポートの分析を容易にするために AWS でサーバーレスデータレイクを実装

  • Pagely社が Beyondsoft社とどのように協力して、Beyondsoft が開発したオープンソースツールである ConvergDB を使用して DevOps 中心のデータパイプラインを構築したかについての紹介記事です
    • このパイプラインでは、Glue を使用してアプリケーションログを最適化されたテーブルに変換し、Athena を使用して迅速かつ費用対効果の高いクエリを実行できているそうです

18、SimilarWeb が、Amazon Athena と Upsolver を使って毎月数百テラバイトのデータを分析する方法

  • SimilarWeb社がAthenaとUpsolverを使ったデータ解析事例紹介記事です

19、Equinox フィットネスクラブで、Amazon Redshift を使用して顧客のジャーニーループを閉じる

  • Equinox社でのクリックデータストリームをS3と、Spark、AthnaRedshiftを組み合わせて分析基盤を作った事例紹介記事です

20、一時的認証情報を使用してフェデレーティッドアイデンティティで、Amazon Athena に接続する

  • 一時的認証情報を使ってAthenaにアクセスする方法の紹介記事です

21、Amazon Athena で CTAS ステートメントを使用して、コストを削減し、パフォーマンスを向上させる

22、Amazon Redshift を使用して、デジタルコンテンツを収益化するプロデューサーを支援している Narrativ

  • Narrativ社のデータ分析基盤としてRedshift、Redshift Specturum、S3を使った事例の紹介記事です

23、AWS DevDay Tokyo 2018 Severless&Mobile トラック資料公開

  • 表題の資料が公開されたアナウンス記事です

24、新低コストAMD動力M5a および R5a EC2インスタンス

25、RStudio を実行するために Amazon EMR のエッジノードを立ち上げる

  • リモートワークロード用に構成された RStudio Server とともに Amazon EC2Amazon EMR のエッジノードとして構成する方法の紹介記事です

26、Amazon Kinesis Agent for Microsoft Windows を使用して、Windows イベント、ログ、およびメトリックを収集、解析、変換、ストリーム配信する

27、Amazon QuickSight で表計算による高度な分析を行う

  • QuickSightで表計算機能がリリースされました
  • ブログではサンプルの販売データセットに適用する方法の紹介しています

28、Amazon Aurora を使用してエンドユーザーの待ち時間を 3 倍に改善する方法

  • InfoScount社のAurora利用事例の記事です

29、AWS PrivateLink エンドポイントを使用することで、Amazon VPC から Amazon SageMaker ノートブックに直接アクセスする

  • SageMakerノートブックインスタンスVPC PrivateLinkでアクセスする方法の紹介記事です

30、Amazon SageMaker でノートブックのボリュームサイズを最大 16 TB までカスタマイズできます

  • SageMakerノートブックインスタンスのストレージは最大16TBまでサポートされている紹介記事です

31、Amazon SageMaker ノートブックインスタンスのためのライフサイクル設定の更新

  • SageMakerノートブックインスタンスのライフサイクル設定の紹介記事です

32、EMR – Sqoop を使用して RDBMS またはオンプレミスデータを EMR Hive、S3、および Amazon Redshift に移行する

33、Annalect が Amazon Redshift を使ってイベントログデータ分析ソリューションを構築した方法

  • Annalect 社広告テクノロジーパートナーからのイベントログデータを管理、強化、そして分析するために、どのように AWS でソリューションを構築したかについて紹介しています
    • S3、EC2 と AWS Batch、データのカタログ化にGlue、そして分析用にRedshift と Amazon Redshift Spectrum を使用しています

34、Amazon EMR および IoT センサーネットワークで Apache Flink の複合イベント処理を使用したリアルタイムの山火事警告

  • IoT からリアルタイムで受信する温度イベントを通じて潜在的な山火事のパターンを検知し、E メールでアラートを送信するために、Apache Flink の複合イベント処理 (CEP) によって提供されるイベント処理パラダイムの紹介記事です

35、AWS IoT とサーバーレスデータレイクを使用したフロントライン脳震盪モニタリングシステムの構築方法 – パート 1

  • データレイクをサポートするデータパイプラインの構築方法の紹介記事です
    • Kinesis Data Streams、Kinesis Data Analytics、Kinesis Data Firehose、およびLambda を使います

36、AWS Glue を使用することによってオンプレミスデータストアにアクセスして分析する方法

  • Glueを使ってオンプレミスのデータにアクセスし分析する方法の紹介記事です

37、AWS IoT とサーバーレスデータレイクを使用したフロントライン脳震盪モニタリングシステムの構築方法 – パート 2

  • データレイクをサポートするデータパイプラインの構築方法の紹介記事です
    • 主要分析を使って実用的なデータを作成するサーバーレスデータレイクを作成することによってデータを処理し、可視化する方法の紹介記事です

38、Camp re:Invent Trivia Challengeに参加してください

  • re:InventのTrivia Challengeの紹介記事です

39、リソースレベルの IAM アクセス許可とリソースベースのポリシーで、AWS Glue データカタログへのアクセスを制限する

  • IAMの制御でGlueのデータカタログにアクセスする手法の紹介記事です

40、AWS について学ぶ – 11 月の AWS オンラインテックトーク

  • 表題のイベントの紹介記事です

41、Performance Insights を使用して Amazon Aurora の MySQL のワークロードを分析する

  • Aurora MySQL互換でPerformance Insightsを使って負荷状況を確認する手法の紹介記事です

42、OracleデータベースでのAmazon EBS調整可能な容量の使用(パート1):紹介

43、AWSデータベース対応プログラムの紹介

  • AWS Database Ready Programの紹介記事です

44、Amazon Elasticsearch Service を使用して GuardDuty でセキュリティをリアルタイムで監視する

  • ES を使用して GuardDuty 調査結果の集約、検索、分析を行う方法の紹介記事です

45、RDS SQL Serverには、ワクワクする新しい2つのバックアップ機能とリストア機能があります

  • RDS for SQL Serverは、SQL Serverのネイティブバックアップとリストアに関する2つの重要な改善点がリリースされました
    • S3バケット内の単一の.bakファイルとして、SQL Serverデータベースの完全データベースバックアップ
    • S3バケットからRDS SQL Serverにバックアップをリストアすることもできる

46、AWS Database Migration Service を使用して PostgreSQL 10 のネイティブパーティション表に移行する

47、Database Migration Service を使用して、リレーショナルデータベースから Amazon Kinesis に CDC データをロードする

  • RDS for SQL Server データベースへの変更をキャプチャしてKinesis Data Streams に送信する方法及び、S3とAWS Lambda をデータの初期ロードに使用する方法と、DMSを進行中のレプリケーションに使用する方法の紹介記事です

48、Amazon DynamoDBの適応能力が不均一なデータアクセスパターンに対応する仕組み(または、なぜDynamoDBについて知っている情報が古くなっているのか)

  • 以下の紹介記事です
    • DynamoDBがどのようにしてパーティションとサーバー間でデータを分割させるのか
    • 不均一なワークロードの問題を修正する、適応能力と呼ばれる機能を紹介
    • 適応能力を実証するために、AWSアカウントで実行できるサンプルアプリケーションを紹介

49、AWS GlueとAmazon Athenaを使用して、Amazon DynamoDBのデータ抽出と分析を簡素化

  • Glueを使用してDynamoDBテーブルをクロールし、Amazon S3にデータを抽出し、Amazon AthenaでSQLクエリを使用して分析を実行する方法の紹介記事です

50、過去18ヶ月間で見逃した可能性のあるAmazon DynamoDBのハイライト

  • 表題のDynamoDBのアップデートまとめ記事です

51、Apache Cassandra データベースから Amazon DynamoDB への移行を容易にする

  • Cassandra データベースから DynamoDB テーブルにデータを一括ロードする方法及び、DMSとSCT を使用して切り替える準備が整うまで、DynamoDB テーブルをソースと完全に同期した状態を維持する方法の紹介記事です

52、Performance Insights で Amazon RDS for MySQL をチューニングする

  • RDS for MySQLにおけるPerfomance Insightsの利用方法の紹介記事です

53、Amazon Kinesis および Amazon Athena を使用して VPC ネットワークのトラフィックを分析および視覚化する

  • VPC フローのログデータを収集、分析、視覚化する方法の紹介記事です
    • CloudFormation テンプレートも紹介されています

54、Amazon DynamoDB ストリームを使用して、順序付けされたデータをアプリケーション間でレプリケーションする方法

  • AWS サービスを使用して DynamoDB ストリームを処理するための複数のパターンの紹介記事です
    • 他のシステムやユーザーに通知し、トランザクションアーカイブし、順序付けされた処理を維持しながらデータを別のデータストアにレプリケートするために、ほぼリアルタイムの DynamoDB ストリーム処理を実行できる最も信頼性の高いスケーラブルなパターンにも触れています

55、AWS Database Migration Service を使用して Amazon Aurora から Amazon S3 にデータをレプリケート

  • AuroraのデータをDMS経由でS3へレプリケートする方法の紹介記事です

56、アプリケーションをオンプレミスの Oracle データベースから Amazon RDS for PostgreSQL に移行する方法

  • 共通の Java アプリケーションと Hibernate のレイヤーにおける変更と、Java アプリケーションを Oracle からRDS for PostgreSQL に移行した際に明らかとなった、アプリケーション層を管理するためのベストプラクティスと方針についての紹介記事です

57、Amazon RDS for SQL Server 上で SQL Server 2008 R2 から SQL Server 2016 にアップグレードする方法に関するベストプラクティス

  • RDS for SQL Server 2008 R2 から RDS for SQL Server 2016 にアップグレードする方法の紹介記事です

58、Elasticsearch チュートリアル: クイックスタートガイド

  • 表題の通りの記事です

59、SQL Server エージェントのジョブを AWS Step Functions に置き換える

  • Microsoft SQL Server からAurora PostgreSQL への移行の場合に、SQL エージェントのジョブをStep Functionsを使用して SQL エージェントのジョブを置き換える方法の紹介記事です

60、Oracle 自律型トランザクションを PostgreSQL に移行する

61、New Innovations はいかにして研修医管理プラットフォームを Microsoft SQL Server から Amazon Aurora PostgreSQL へ移行したのか

62、AWS Lambda、Amazon Route 53、および Amazon SNS を使用して、Redis クラスター用 Amazon ElastiCache (クラスターモードが無効) のリードレプリカエンドポイントを監視します

  • SNS をリッスンし、Redis クラスター用ElastiCache (クラスターモードが無効) のリードレプリカに使用される CNAME を更新するLambda 関数の作成手順の紹介記事です

63、AWS Schema Conversion Tool ブログシリーズ: ビルド 617 の新機能紹介

  • SCTのアップデートの紹介記事です

64、ソートキーを使用して、Amazon DynamoDB でデータを編成する

  • DynamoDBのソートキーを使用した、データを取得するための最適化テーブルの紹介記事です
    • ソートキーを使用すると、データをグループ化し編成するだけでなく、テーブル内の項目に対してクエリを実行する追加手段にもなります

65、専用の AWS Glue VPC を使用して複数の VPC 間で ETL ジョブに接続し、実行する

  • VPC の 1 つのソースから消費し、別の VPC の別のソースに出力する ETL パイプラインを構築するために必要なステップの紹介記事です
    • 複数の VPC で設定し、データベースインスタンスがセキュリティ、監査、その他の目的で複数の VPC に分離されている状況を再現します

66、Amazon SageMaker で増分学習を簡単に実行する

  • SageMaker の増分学習機能を使用して転移学習を実行する方法の紹介記事です

67、グラフ化なら、おまかせください (パート 1 – 航空ルートの事例)

  • Amazon Naptuneのシリーズ記事です
    • グラフアプリケーションデータセットと、多数の異なるドメインおよび問題空間から取り出されたクエリを探求します

68、今すぐ利用可能 – AWS Marketplaceの新しいRHEL for SAP with HA and US

以上が今週のアップデートまとめになります。

10/28~11/3 AWSブログ

タダです。

今週のAWSブログアップデートをまとめていきます。

1、只今準備中 – 南アフリカの AWS リージョン

  • 2020年前半、南アフリカAWS リージョンが開設されるというアナウンス記事です

2、チェックしてください – EC2 および EBS 用の新しい AWS 料金見積ツール

  • EC2とEBS用の新しいAWS見積もりツールがリリースされました

3、Amazon SageMaker ノートブックインスタンスのネットワーク設定と高度なルーティングオプションについて理解する

  • SageMakerのノートブックインスタンスのネットワーク設定紹介記事です

4、AWS Serverless Application Model (SAM) コマンドラインインターフェイス。サーバレスアプリケーションをローカルで構築、テスト、デバッグする

  • AWS SAMのCLIでのローカルでアプリケーション開発、テスト、デバッグを行う方法の紹介記事です

5、Amazon Translate が 113 の新言語ペアを提供できるようになりました

  • Translateに113の言語対応がされました

6、AWS のディープラーニングを使い、自然災害による損害賠償を軽減する

7、Model Server for Apache MXNet v1.0 がリリース

  • AWSがリリースした、Model Server for Apache MXNet v1.0の紹介記事です

8、AWS Well-Architected フレームワークホワイトペーパー 日本語版の更新

  • 表題通りのアップデート紹介記事です

9、Amazon LinuxでのJavaのLTS (Long-Term Support)提供について

  • Amazon Linux2のOpenJDK8及びOpenJDK11のサポートは2020年6月30日までサポートさレルアナウンス記事です

    Amazon Linux 2上でのOpenJDK 8およびOpenJDK 11ランタイムへのLTSが最短でも2023年6月30日までAmazonより提供されることをお伝えします

10、Amazon EMR クラスター上でストレージを動的にスケールアップする

  • HDFS と YARN が EMRクラスターノードでローカルストレージをどのように使用するかについての紹介記事です

以上がアップデートまとめです。

10/21~10/27 AWSブログ

タダです。

今週のAWSブログアップデートをまとめていきます。

1、AWS Black Belt オンラインセミナーのご案内 (2018 年 11 月)

  • 11月のオンラインセミナーに関する記事です

2、Amazon SageMaker のバッチ変換が Amazon VPC および AWS KMS に基づく暗号化をサポート開始

  • SageMakerでバッチ変換でのVPCでのKMSによる暗号化がサポートされました

3、Amazon RDS アップデート – コンソールの更新、RDS の推奨事項、Performance Insights、M5 インスタンス、MySQL 8、MariaDB 10.3、その他多数

  • 以下のRDSアップデートまとめ記事です

    コンソールの更新 – RDS コンソールの外観が新しくなりました。

    RDS の推奨事項 – ベストプラクティスに従ってデータベースインスタンスを設定するのに役立つ推奨事項があります。

    MySQL 用 Performance Insights – MySQL を深く調べて、クエリの処理方法についてより詳しく理解することができます。

    M5 インスタンス – M5 インスタンスMySQLMariaDB を使用できるようになりました。

    MySQL 8.0 – 現在、MySQL 8.0 を本稼働環境で使用できます。

    MariaDB 10.3 – 現在、MariaDB 10.3 を本稼働環境で使用できます

以上が今週のアップデートまとめになります。

10/15~10/20 AWSブログ

タダです。

今週のAWSブログアップデートをまとめていきます。

1、AWS Lambda のタイムアウトが15分になりました。

2、New – Amazon Lightsail のためのマネージドデータベース

  • Lightsailでマネージドデータベースの作成できる様になりました

    各 Lightsail データベースバンドルは月ごとの固定料金で課金され、データベースインスタンスSSD ベースの大容量ストレージ、インターネットやその他の AWS リージョンへのテラバイトまたはそれ以上のデータ転送、7 日間のポイントインタイムリカバリを行える自動バックアップが含まれます。また個別に課金する手動データベーススナップショットを作成することもできます。

以上が今週のまとめになります。

10/7~10/14 AWSブログ

タダです。

先週のブログアップデートをまとめていなかったのでまとめていきます。

1、Amazon SageMaker でより速いパイプモードを使用してモデルのトレーニングを高速化する

  • SageMakerにはトレーニングデータを転送する方法としてファイルモードとパイプモードがあり、パイプモードが早く転送ができます

    レーニングデータは、トレーニングを開始する前に、まずトレーニンインスタンスに添付された暗号化された EBS ボリュームにダウンロードされます。しかし、パイプモードでは、入力データは実行中にトレーニンアルゴリズムに直接ストリームされます。この連続的なデータのストリーミングによって、いくつかの大きな利点がもたらされます

  • 本記事では、ファイルモードとパイプモードの使い分けの紹介もされてます

2、Amazon SageMaker Neural Topic Model で、補助語彙チャンネル、新しいトピック評価メトリクス、およびトレーニングサブサンプリングのサポートを開始

  • SageMaker Neural Topic Model (NTM) の 3 つの新機能の紹介記事です

3、Apache MXNet を Amazon SageMaker および AWS Greengrass ML Inference と共に使用する脳組織のセグメント化 – パート 2

  • ML リソースのエッジデプロイメントをたやすく実現するためにGreengrass がどのように SageMaker とシームレスに統合されるかについて紹介記事です
  • SageMaker で脳組織のセグメント化のためにトレーニングした効率的なニューラルネットワーク (ENet) を、AWS Greengrass ML Inference を使用してポータブルオフラインエンドポイントとした Raspberry Pi 3 にデプロイしました

4、テキストの向こう側にある世界: Spokata が Amazon Polly を使用して、リアルタイム音声でニュースと情報のユニバーサルアクセスを実現する方法

  • Spokata社がPollyを使ってテキストベースのニュースや情報を、リアルタイム音声でアクセスする事例の紹介記事です

5、買い物客のセンチメント: 店内での顧客経験の分析

  • 店内ビデオ分析のためのエンドツーエンドソリューションを構築するために、Rekognition、Lambda、S3、Glue、Athena、QuickSightを使ってプロセスを簡素化する方法の紹介記事です

6、Amazon Connect が数ヶ月以内に東京リージョンで利用可能に

  • Connectが近いうちに東京リージョンにて利用可能になるというアナウンス記事です

以上がブログまとめになります。