Spark Cyclone

Spark Cyclone は、Apache Spark のプラグインで、 SX-Aurora TSUBASA “Vector Engine” (VE) を使用して Spark のパフォーマンスを加速します。このプラグインは、Spark ユーザーが最小限の手間で 既存のジョブを加速できるように、最適化された C++ コードを生成し、 VE 上で実行することを可能にします。

Spark Cyclone は、VE 上で Spark を加速するための 3 つの方法を提供します：

• Spark SQL：このプラグインは、Spark SQL の拡張性を活用して SQL クエリを動的に書き換え、ユーザーのコード変更なしで C++ コードを VE 上で実行できます。
• RDD： より直接的な制御を求める場合、プラグインの VERDD API は Scala マクロを提供し、 通常の Scala コードを C++ に変換して、map() などの一般的な RDD 操作を VE 上で実行できます。
• MLlib： CycloneML は Spark Cyclone を活用してる MLlib のフォークで、VE または CPU を使用して多くの ML アルゴリズムを加速できます。