Modul Fehler in Multi-Knoten-Funke-Job auf Google Cloud-Cluster

Question

Dieser Code läuft perfekt, wenn ich Master zu Localhost festlegen. Das Problem tritt auf, wenn ich auf einem Cluster mit zwei Worker-Knoten absende.

Alle Maschinen haben die gleiche Version von Python und Pakete. Ich habe auch den Weg auf die gewünschte Python-Version, d. H. 3.5.1. wenn ich meinen Funkenjob auf der Master-SSH-Sitzung einreiche. Ich erhalte den folgenden Fehler -

py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure: Lost task 0.3 in stage 2.0 (TID 5, .c..internal): org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977_0011_01_000004/pyspark.zip/pyspark/worker.py", line 98, in main command = pickleSer._read_with_length(infile) File "/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977_0011_01_000004/pyspark.zip/pyspark/serializers.py", line 164, in _read_with_length return self.loads(obj) File "/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977_0011_01_000004/pyspark.zip/pyspark/serializers.py", line 419, in loads return pickle.loads(obj, encoding=encoding) File "/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977_0011_01_000004/pyspark.zip/pyspark/mllib/init.py", line 25, in import numpy ImportError: No module named 'numpy'

Ich sah andere Beiträge, wo Menschen keinen Zugriff auf ihre Arbeiterknoten hatten. Ich mache. Ich bekomme die gleiche Nachricht für den anderen Arbeiterknoten. nicht sicher, ob mir einige Umgebungseinstellungen fehlen. Jede Hilfe wird sehr geschätzt.

Answer 1

Nicht sicher, ob dies eine Lösung darstellt. Ich habe den gleichen Job mit dataproc auf Google-Plattform eingereicht und es funktionierte ohne Probleme. Ich glaube, der beste Weg, um Jobs auf Google Cluster zu starten, ist über die auf Google-Plattform angebotenen Dienstprogramme. Das Dienstprogramm dataproc scheint alle Probleme im Zusammenhang mit der Umgebung auszuräumen.