Spark Structured Streamingで行う統合データ処理

昨今、ストリーム処理は以前言われてきたバッチ処理と対比される状況を越え、統合されたデータ処理として語られるようになってきています。 本セッションでは以下のような、OSSによるストリーム処理システムの流れを振り返り、最近の1つの具体例として、統合されたデータ処理を簡易に実現可能なSpark Structured Streamingについて紹介します。

• Lambda Architecture
• Kappa Architecture
• Unified Data Processing

その上で、実際にSpark Structured Streamingを実システムに導入してみた際に遭遇した問題や、利用感、気を付けるべきポイントについて説明します。

トークの長さ

40分

発表言語

日本語

聴衆の対象

中級者: 分野の基礎は分かるが、細かい所は不安

こんな人におすすめ

バッチ処理とストリーム処理や、その違いについて知りたい人
ストリーム処理の各種概念について知りたい人
Spark Structured Streamingの実際の使いどころについて知りたい人

発表者

木村宗太郎(kimutansk) (株式会社ドワンゴ)