Google Cloud Next '17 in Tokyo BigQuery の先進機能

Google Cloud Next のメモです。BigQuery中心にみたのですが、だいたい、入門〜中級へのステップアップTipsみたいな感じで紹介されていました。

以下、『BigQuery の先進機能 : クラウド データウェアハウスの未来を開く鍵』ジョーダン ティガー二氏のセッションのメモです。

・Explanationと仲良くしろ。中で動いているシャードを意識しろ。
・シャッフルを意識しろ。高速に計算できる。quotaに注意。ステージ N から N+1 へのマッピングが統計的に決定できない場合はシャッフルされる。
・大きすぎるJOIN。シャード過負荷になる場合がある。クエリを分割する。
・大きすぎるソート。ORDER BY と LIMITでシャードのリソースを減らして出す。
・大きすぎるカウント。APPROX_COUNT_DISTINCTが早い。正確さ注意。計算結果は概算値となる。エラーレートは 0.3% ~ 1%。内部では、HyperLogLog++を使っている。

写真は、セッションが始まる前のスライドテスト。
（セッション中、となりの人が居眠りしていましたね。。。）

AWS Summit Tokyo 2017キーノートWerner Vogels氏

AWS Summit Tokyo 2017キーノートWerner Vogels氏(Amazon.com CTO)の話のメモです。
全体的に、IoT、機械学習推しでトレンドにのっとった感じです。（Amazon Alexa推しともいえるかも）

・AWSすごい売れています。40%以上のYoY成長（第1四半期、2016年と2017年をくらべて。）10億ドル超のIT企業でトップ成長。
・ゲスト、ソラコムCTO安川氏。AWS使っていますという話。AWSはIoT推したいっぽい？
・ゲスト、NTT東日本の人。オンプレからAWS直結サービス出しました。
・ゲスト、ソニーモバイルの人。AWS IoT使ってます。
・ゲスト、グリーCTO藤本氏。日は昇りまた沈みゆく運命なのだ（超訳）。数千台オンプレサーバを消し去るためにAWS移行をやった。サービスを縮小するためにAWS移行したという話は史上初なのでは。気合。
・AWSは、EC2 FPGAインスタンス、機械学習、IoT、音声認識テキスト吐き出し、テキスト音声データ生成そろってますよ。Amazon Alexa作れますと言っているように聞こえる。内部で作ったAPIとかをAWSで出してくるスピードが早いと思う。