また、編集部はこの内容について正確性を保証できません。
CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー ＞ 第11回 「Cloud Dataflow」が実現するストリーミング処理の設計パターン 」を公開しました。
はじめに
今回は、2015年に公開された論文「The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing」をもとにして、Cloud Dataflowによるストリーミング処理の設計パターンを学びます。
サンプルデータの見方
前回、MillWheelの解説の中で、ストリーミング処理では「データ処理の区切り」を設定する必要がある事を説明しました。Cloud Dataflowは、FlumeJavaのバッチ処理プログラミングモデルに、データ処理の区切りを設定する機能を追加することで、ストリーミング処理にも対応できるように機能拡張したものと考えることができます。
冒頭の論文では、図1のサンプルデータに対して、さまざまなデータ処理の区切りを設定する例が紹介されています。まずは、このサンプルデータの見方を説明しておきましょう。
この続きは以下をご覧ください
http://www.school.ctc-g.co.jp/columns/nakai2/nakai211.html
関連記事
グーグルのクラウドを支えるテクノロジー ＞ 第75回 VPCネットワークを支える仮想ネットワーク基盤：Andromeda（パート3）
2020年2月23日 8:54
グーグルのクラウドを支えるテクノロジー ＞ 第15回 1Pbpsのデータセンターネットワークを実現したJupiter（パート3）
2017年4月25日 17:04
グーグルのクラウドを支えるテクノロジー ＞ 第14回 1Pbpsのデータセンターネットワークを実現したJupiter（パート2）
2017年4月13日 13:50
グーグルのクラウドを支えるテクノロジー ＞ 第16回 1Pbpsのデータセンターネットワークを実現したJupiter（パート4）
2017年5月11日 13:50
グーグルのクラウドを支えるテクノロジー ＞ 第5回 大規模構造化データに最適化された分散キーバリューストアBigtable（パート１）
2016年11月10日 10:43
グーグルのクラウドを支えるテクノロジー ＞ 第111回 動画配信サービスを支えるトランスコーディング専用ハードウェア（パート1）
2021年8月28日 7:35
筆者の人気記事
