Funken zu verlieren println() auf stdout

Question

Ich habe den folgenden Code:

val blueCount = sc.accumulator[Long](0) 
val output = input.map { data => 
    for (value <- data.getValues()) { 
    if (record.getEnum() == DataEnum.BLUE) { 
     blueCount += 1 
     println("Enum = BLUE : " + value.toString() 
    } 
    } 
    data 
}.persist(StorageLevel.MEMORY_ONLY_SER) 

output.saveAsTextFile("myOutput") 

---

Dann wird der blueCount nicht Null ist, aber ich habe keine println() -Ausgabe! Fehle ich hier etwas? Vielen Dank!

Answer 1

Ich war in der Lage, es zu umgehen, indem ein UtilityFunction machen:

object PrintUtiltity { 
    def print(data:String) = { 
     println(data) 
    } 
} 

Answer 2

Dies ist eine konzeptionelle Frage ...

Stellen Sie einen großen Cluster haben, der sich aus vielen Arbeitern sagen lassen n Arbeiter und jene Arbeiter speichern eine Partition eines RDD oder DataFrame, stellen Sie starten eine map Aufgabe über dass Daten, und innerhalb dieser map haben Sie eine print Aussage, vor allem:

• Wo werden die Daten ausgedruckt werden?
• Welcher Knoten hat Priorität und welche Partition?
• Wenn alle Knoten parallel laufen, wer wird zuerst gedruckt?
• Wie wird diese Druckwarteschlange erstellt?

Das sind zu viele Fragen, so die Designer/Maintainer von apache-spark logisch jede Unterstützung print Anweisungen in jedem map-reduce Betrieb zu fallen entschieden (diese accumulators und sogar broadcast Variablen enthalten).

Dies macht auch Sinn, weil Spark eine Sprache ist entworfen für sehr große Datensätze. Während das Drucken zum Testen und Debuggen nützlich sein kann, möchten Sie nicht jede Zeile eines DataFrames oder RDDs drucken, da sie so konstruiert sind, dass sie Millionen oder Milliarden von Zeilen haben! Warum also mit diesen komplizierten Fragen umgehen, wenn Sie gar nicht erst drucken wollen?

Um dies zu beweisen, Sie können diesen scala Code zum Beispiel laufen:

// Let's create a simple RDD 
val rdd = sc.parallelize(1 to 10000) 

def printStuff(x:Int):Int = { 
    println(x) 
    x + 1 
} 

// It doesn't print anything! because of a logic design limitation! 
rdd.map(printStuff) 

// But you can print the RDD by doing the following: 
rdd.take(10).foreach(println)