Spark 上で動くディープラーニングフレームワークを実装することで学んだこと

Deep LearningのフレームワークとしてはTensorFlow, Caffe, Chainerなどが有名ですが、数学的な背景やフレームワーク特有の考え（計算グラフ、Autograd）が必要ということもあり実装への敷居は若干高く感じられています。またそれらをスケールするように分散システムとして作るというのは更に難しいものになります。 Apache Sparkは近年最も活発に開発されている分散フレームワークのひとつでScalaで書かれています。このセッションではSparkを使って、シンプルなDeep Learningフレームワークを一から作ってみて感じた分散Deep Learningの勘所をお話します。内容はSpark上での実装詳細に加えて、スケールする勾配法やモデルの同期といった分散Deep Learningの概念的な話もします。