Müssen Spark-RDD-Tupelfelder serialisierbar sein? Mahout Drm scheint, nein zu sagen

Question

Mahout des DrmRdd Typ ist definiert als

type DrmRdd[K] = RDD[DrmTuple[K]] 

die zu

übersetzt

RDD[(K,Vector)] 

jedoch Mahout Dokumentation wird deutlich, dass die Vector-Klasse nicht serialisierbar ist.

Das führt mich zu etwas Kopfschütteln, wie man eine RDD [(K, Vector)] erzeugt, um in einen Mahout Drm zu wickeln, ohne über die Tatsache zu stolpern, dass Vector nicht serialisierbar ist.

Meine Frage ist, wann muss ein Funke RDD-Tupel serialisierbar sein? Oder müssen sie nur für bestimmte Funktionen serialisierbar sein, die ein Shuffle durchlaufen müssen?

Answer 1

Nun, technisch gesehen, wenn es kein Grund zur Serialisierung (es gibt keine Shuffle, Caching mit Serialisierung oder ähnlichem Verfahren Sie RDD mit Daten haben können, die nicht serialisierbar sind zum Beispiel, wenn Sie Daten wie diese:.

class Foo(x: Int) 

val rdd = sc.parallelize(1 to 4, 4).map(i => (i, new Foo(i))) 

wo Foo nicht serialisierbar ist, können Sie zählen:

rdd.count 
// 4 

aber Sie können nicht distinct.count:

rdd.distinct.count 
// java.io.NotSerializableException: $line30.$read$$iwC$$iwC$Foo 
// Serialization stack: 
// - object not serializable (class: $line30.$read$$iwC$$iwC$Foo, value: ... 
// - field (class: scala.Tuple2, name: _2, type: class java.lang.Object) 
// - object (class scala.Tuple2, (1,$line30.$read$$iwC$$iwC$Foo@70accf6)) 
// at ... 

Nicht serialisierbare Objekte sind also nur für temporären Speicher geeignet, der auf eine einzelne Task beschränkt ist.

Aber das ist nicht der Fall mit Mahout Vector. Mahout Spark-Bindungen bieten tatsächlich Kryo registration tools und Vectoris actually registered there:

kryo.addDefaultSerializer(classOf[Vector], new VectorKryoSerializer()) 

und bietet specialized serializer

Bitte beachten Sie auch, dass Kryo deutlich mehr so ​​nachsichtig sein kann, wenn man spark.serializer-org.apache.spark.serializer.KryoSerializerdistinct.count oben gegebenen Beispiel gesetzt funktioniert sogar ganz gut obwohl Foo ist nicht serialisierbar mit Java-Serialisierung.