本番を想定して、リハーサルやってみる
自分たちの得意なフィールドで戦う
- 集計用のツールが今回使い切れずに終わってしまった
- h2oからnginxに切り替えたり、MariaDBからMySQLに切り替えたりの判断を迅速にしたかった
作業計画がなく、場当たり的な対応になってしまった
- 計測ツールが使えないことに対して、時間をかけすぎてしまったので、対処方法と優先度の判断を午前中にすべきだった
- 結果的には最高優先度のタスクだった
  - 着手が遅れた＆最終的に自前の貧弱ツールを使うしかなかった *「知ってるかどうか」のタスクは即聞く。ファイルのありか、設定方法、あとは特定の作業を行ったかどうか（状況把握）、とか
- 今何やってるか、今から何の作業を開始するか、宣言する
「/login」のタイムアウトに対する見切りが遅かった
- ロックするクエリが他にいたので、それの影響を疑うことができた。実際のログイン処理もパッと見でそんな問題なさそうなことがわかっていたので、「別の処理」の被害を受けたのでは、と推測することができたはず
各サーバーのリソース状況を確認したので、それを共有すべきだった

時間の関係でできなかったこと

時間の関係で手をつけられなかったものとして、以下のものがあります。

get_event の改善
とあるイベント ✕ 全シートのループが非効率なので、シートのクエリを1本にまとめる
/adminのレポート生成
FOR UPDATE でロックしているので、ロック時間を最小にするようなリファクタリングする。
h2oからnginx切り替え
redisの設定とキャッシュ戦略を決める(redisを入れただけで終わってしまったため)
h2oの以下の設定周り
- mrubyとの組み合わせ
- proxy設定を行って、アプリのルートのパフォーマンス対応
  - Webのキャッシュ設定
  - 処理が重いものを負荷分散させる(csvレポートを生成する処理とか)

ISUCON8のリポジトリを公開してくださっている方もいるのでこの辺トライしていきたいです。

github.com

まとめ

今回、担当割り、過去問の準備をしてきたものの、やり切れたかと問われるとまだまだできることがあったし、悔しさが残った形でした。

一番の敗因は、時間の使い方と、タスクの計画です。

本来、時間をかけないところに時間をかけすぎて、本質的に優先すべきことに時間を割けませんでした。また、タスクの対応も場当たりな対応になってしまっていたのも問題ですね。

悔しかったので来年も開催されるのであれば、また参加してみたいです！

2018-09-16

9/10~9/16 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、AWS X-Ray が、Amazon API Gateway と新しいサンプリングルール API のサポートを開始

API Gatewayの機能追加として以下のものが追加されました
- API Gateway のサポートにより、API を通じた基礎となるサービスへのリクエストの追跡と分析が簡単になる
- AWS X-Ray コンソールと API でサンプリングルールをコントロールするサポートの開始

２、AWS のメディア解析ソリューションを使用して、メタデータの自動抽出を使い始める

顔認識に Amazon Rekognition、文字起こしの作成に Amazon Transcribe、文字起こしでの感情分析に Amazon Comprehend を使用します。
- 独自の画像を Amazon Rekognition コレクションにアップロードして、個人を認識できるようにソリューションをトレーニングすることもできます。
メタデータがどのようにしてシームレスに抽出されるかを直接見ることができます。

３、Amazon AppStream 2.0 – 新しいアプリケーション設定のパーシステンス機能の紹介および 2018 年に追加された機能概括

AppStream 2.0 の直近の追加機能をいくつかまとめておさらいをしておきたいと思います。
- さらには、アプリケーションのカスタマイズ (環境設定、ブックマーク、ツールバー設定、接続プロファイルなど) およびユーザーのセッション間の Windows 設定を自動保存するまったく新しい機能を詳しくご紹介します。
AppStream 2.0 で最近追加された機能は、次の 4 つに分類できます。
- ユーザー機能強化 – タイムゾーン、ロケール、言語入力のサポート、コピーアンドペースト操作の改善、新しいアプリケーションのパーシステンス機能。
- 管理者向けの改善点 – アプリケーションのデフォルト設定、一部のシステムリソースに対するアクセス権限の管理、複数の AWS リージョンにまたがるイメージのコピー、ブランディングのカスタマイズ、複数の AWS アカウント同士のイメージ共有。
- ストレージの統合 – Microsoft OneDrive for Business および Google Drive for G Suite のサポート。
- 利用可能リージョンの拡大 – AppStream 2.0 を利用できる AWS リージョンが、欧州およびアジアで 3 リージョン追加されました。

４、SAP HANAを使用したAWSデータレイクに対するフェデレーテッドクエリの実行

SAP HANAからAWSデータレイクへのクエリをフェデレーションするシナリオは数多くあります。具体的な例をいくつか挙げてみます。
- Athenaを使用してS3ベースのデータレイクにフェデレーテッドクエリを実行するためのSAP HANAの設定手順を紹介します。

５、Mapillary が、Amazon Rekognition を使用して、米国の都市向けの駐車ソリューションを構築

Mapillaly社によるRekoginition利用事例紹介記事です

６、Amazon Athena を使用した SageMaker ノートブックからの SQL クエリの実行方法

S3に解析のデータをアップロードし、GlueとAthenaで使用できようにし、次に Amazon SageMaker で使用できるようにするための方法の紹介記事です

７、最新 – AWS Systems Manager セッションマネージャーで EC2 インスタンスへのシェルアクセスを実現

SystemManagerでブラウザベースの新しいインタラクティブシェルとコマンドラインインターフェース (CLI) を使用したインスタンス管理ができるようになりました

８、AWS – 次の嵐に備えて

災害対策に対するAWSの準備施作の紹介記事です

以上が今週のアップデートまとめです。

2018-09-09

9/2~9/9 AWSブログ

AWS

タダです。

今週のAWSブログアップデートをまとめていきます。

１、Amazon SageMaker ランタイムが CustomAttributes ヘッダーのサポートを開始

SageMakerの推論エンドポイントを提供する方法として、新しい HTTP ヘッダー、CustomAttributes のサポートを開始しました
- CustomAttributesのメリットは、推論のエンドポイントへのリクエスト及びレスポンス時に時追加情報を提供可能

２、AWS でのビジュアル検索 – パート 1: Amazon SageMaker を使用したエンジンの実装

SageMakerとDeepLensを使って、ビジュアル検索を実装する方法を学ぶシリーズ記事です
- パート1では、SageMakerでビジュアル検索のモデルを構築、検索対象のインデックスを作る
- パート 2 では、DeepLens を使用して、物理的対象に視覚的に類似するアイテムをリアルタイムで直接検索する方法を示し、デジタルから物理世界への橋渡しを行う
ソースはこちらにあります

３、AWS Innovate IoT Live Day 開催のお知らせ

表題のイベント紹介記事です

４、AWS Systems Manager の新しい Automation アクションの使い方を紹介

Onica社のSystems MangerのAutomationアクション利用事例紹介記事です

５、Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法

SageMakerからS3、Glue、EMRへ構成されたデータカタログにアクセスするための紹介記事です
次の順番で処理が行われます
- 1.SageMakerからPySpark コマンドを使って、SQL magic で HiveQL コマンドを実行することもできます。
- 2.EMR クラスタに向けて送信されたコマンドが、同クラスタ上で動作する Livy サービスで受信されます。
- 3.Livy は、EMR クラスタで動作している Spark にコマンドを受け渡します。
- 4.Spark は、Hive メタストアにアクセスし、カタログ化されたデータセットのロケーション、スキーマ、プロパティを特定します。今回のケースでは、Hive メタストアは AWS Glue データカタログに設定されています。
- 5.Spark は Glue データカタログの情報を使用し、Amazon S3 のデータを直接読み込みます。
- 6.操作の実行後、Livy はさらなる解析と視覚化のために、データを Pandas のデータフレームとしてノートブックに戻します。

６、Alexa Prize のファイナリストと今すぐチャットしてみよう

Alexa Prizeというコンテストのファイナリストのスキルを試すことができる、という紹介記事です

７、インパクトのある Amazon QuickSight のダッシュボードを、パラメーター・コントロール・URL アクションを使って構築する

QuickSightのダッシュボードのカスタム方法の紹介記事です

８、AWS Innovate Container Live Day 開催 2018年9月11日

表題のイベント紹介記事です

９、AWS CloudFormation を AWS Lambda によるマクロで拡張する

CloudFormationの新機能『Macro』がリリースされました
- 独自記法テンプレートをLambdaが変換を行ってくれる機能です
利用するには、CloudFormationのテンプレートでマクロを使うのですが、以下のように定義します

Type: "AWS::CloudFormation::Macro"
Properties:
  Description: String 
  FunctionName: String 
  LogGroupName: String 
  LogRoleARN: String 
  Name: String

マクロの中で Nameはリージョン内でユニークである必要があります。FunctionName　で参照する Lambda ファンクションはマクロが作られるのと同じリージョンに存在する必要があります。マクロ定義テンプレートを実行すると、そのマクロは他のテンプレートでも利用可能になります。マクロの実体は Lambda ファンクションです。マクロは自分のテンプレートに記述してもよいですし、他のテンプレートとグループにして配置しても良いです。しかしマクロはそれ自体を定義したテンプレートの中では利用することはできません。Lambda ファンクションは以下のような JSON ペイロードを受け取ります。

以上が今週のまとめになります。

2018-09-01

8/26~9/1 AWSブログ

AWS

タダです。

今週のAWSブログをまとめていきます。

１、SAP HANAワークロードの非本稼働環境における小さいサイズのX1eインスタンス

SAP HANAワークロードの開発やQA、テスト環境において、より小さいX1eインスタンスを使用する方法について紹介記事です

２、AWS CDK 開発者プレビュー

AWS Cloud Development Kit (CDK) が開発プレビューになりました
- 現在の対応言語は TypeScript、 JavaScript そして Java で、.NET と Python を近々対応予定とのことです
AWS CDK はソフトウェア開発のフレームワークであり、クラウドのインフラストラクチャをコードで定義して CloudFormation でプロビジョニングできます

３、Amazon Lightsail の更新 – インスタンスサイズが増えて料金は値引きに

Lightsailの利用料金がインスタンスサイズを増やすとさがるアップデートがありました

４、AWS IoT Core がお客様に提供する Symantec の認証局無効化の対応方法

AWS IoT Core に接続するブラウザとモバイルアプリに関連する重要な公開鍵暗号基盤(PKI)の問題についての紹介記事です

５、.NET Frameworkのためのカスタムビルド環境でAWS CodeBuildを拡張する

CodeBuildは、Microsoft Windows Serverプラットフォーム用のビルドもサポートしており、Windows上の.NET Core用にあらかじめパッケージ化されたビルド環境も含まれます。
この記事では、.NET Frameworkアプリケーション用のカスタムビルド環境を作成し、この環境を使用するようにCodeBuildを設定する手順を説明記事です

６、最新情報 – Amazon FreeRTOS 向け Over-the-Air (OTA) Updates

Amazon FreeRTOSのOver-the-Airに関する紹介記事です

７、Amazon DynamoDB – ユーザーの会社にパワーを与える機能

エンタープライズのシステムで有効なDynamoDBの機能アップデートまとめ記事です

８、Pixm が、AWS で Apache MXNet を使用して、深層学習でフィッシング攻撃に対処

Pixm社のApache MXNetを使ったディープラーニング事例の記事です
Pixem社では、Apache MXNet 深層学習フレームワークで作成した深層学習コンピュータビジョンモデルを使用して、ウェブサイトのスクリーンショットを継続的に分析しています
- オブジェクト検出を使用してモデルをブランドのロゴでトレーニングし、銀行のログインページのロゴが本物かどうかを検出しています