Funke: Repartition Strategie nach Textdatei lesen

Question

ich meine Cluster auf diese Weise gestartet haben:

/usr/lib/spark/bin/spark-submit --class MyClass --master yarn-cluster--num-executors 3 --driver-memory 10g --executor-memory 10g --executor-cores 4 /path/to/jar.jar 

Das erste, was ich tue, ist eine große Textdatei zu lesen, und es zählen:

val file = sc.textFile("/path/to/file.txt.gz") 
println(file.count()) 

Wenn Dabei sehe ich, dass nur einer meiner Knoten die Datei liest und die Zählung ausführt (weil ich nur eine Aufgabe sehe). Wird das erwartet? Sollte ich meine RDD nachpartitionieren oder wenn ich Map Reduce-Funktionen verwende, wird Spark das für mich tun?

Answer 1

Es sieht so aus, als ob Sie mit einer gezippten Datei arbeiten.

Zitiert aus my answer here:

Ich glaube, Sie haben ein ziemlich typisches Problem mit gzip-Dateien in dem getroffen haben, können sie nicht gleichzeitig geladen werden. Genauer gesagt, eine einzelne gezippte Datei kann nicht parallel von mehreren Aufgaben geladen werden, so Spark wird es mit 1 Aufgabe laden und Ihnen so eine RDD mit 1 Partition geben.

Sie müssen die RDD nach dem Laden explizit neu partitionieren, damit mehr Aufgaben parallel ausgeführt werden können.

Zum Beispiel:

val file = sc.textFile("/path/to/file.txt.gz").repartition(sc.defaultParallelism * 3) 
println(file.count()) 

In Bezug auf die Bemerkungen zu Ihrer Frage, der Grund minPartitions Einstellung hier nicht helfen, weil a gzipped file is not splittable, so Funke wird immer 1 Aufgabe verwenden, um die Datei zu lesen.

Wenn Sie beim Lesen einer normalen Textdatei oder einer Datei mit komprimierbarem Komprimierungsformat wie bzip2 minPartitions setzen, wird Spark diese Anzahl von Aufgaben parallel bereitstellen (bis zur Anzahl verfügbarer Kerne) in Ihrem Cluster), um die Datei zu lesen.