Wie wird die Funktion verwendet, die RDD [(Double, Double)] als Eingabe für einen Fall von Seq [Seq [(Double, Double)]] erwartet?

Question

Ich habe eine Variable vom Typ Seq[Seq[(Double, Double)]]:

val output: Seq[Seq[(Double, Double)]] = runStreams(ssc, numBatches, numBatches) 

Jetzt möchte ich die Funktion RegressionMetrics die RDD[(Double, Double)] anzuwenden als Eingabe verwendet:

val metrics = new RegressionMetrics(output) 

Wie Seq[Seq[(Double, Double)]] zu RDD zu transformieren [(Double, Double)] `, um Funktionen der Klasse RegressionMetrics nutzen zu können?

Answer 1

RDD ist Abstraktion des Apache Funken für eine Distributed Resilient Dataset

ein RDD Sie eine Instanz von SparkContext, erstellen müssen, die als eine „Verbindung“ gedacht werden kann oder „Griff“ zu einem Cluster mit Apache Spark.

Unter der Annahme,:

• Sie haben ein SparkContext instanziiert
• Sie möchten Ihre Eingabe als „flat“ Folge von (Double, Double) Werte behandeln, ignorieren die Art und Weise diese sind zur Zeit „Split“ in Untersequenzen in Seq[Seq[(Double, Double)]]

Sie können eine RDD wie folgt erstellen:

val sc: SparkContext = ??? 
val output: Seq[Seq[(Double, Double)]] = ??? 

val rdd: RDD[(Double, Double)] = sc.parallelize(output.flatten)