Scio ディープ・ダイブ: 一から構築する Scala API

このセッションでは、Scio＊を一から徐々に再実装して、15個の自己完結した単一ファイルのミニ・フレームワークを作ります。この作業を通じて、Scala の API 設計の共通パターン、分散データ処理系、Scala と Java の相互乗り入れ、内部での最適化などのトピックをカバーします。このトークはコードが中心で、スライドは極力使いません。

＊) Scio は、Apache Bean と Google Cloud Dataflow のための Scala API でバッチ処理とストリーム処理を統合します。これは Spotify社の 300以上のデベロッパーによって使われており、1500以上のバッチやストリームされるデータパイプラインを処理しています。また、世界中のその他の会社でも使われています。