KeyError: 'SPARK_HOME' in pyspark auf Jupyter auf Google-Cloud-DataProc

Question

Wenn ich versuche, eine SparkDF (Test) zu zeigen, bekomme ich einen KeyError, wie unten gezeigt. Wahrscheinlich passiert etwas in der Funktion, die ich vor Test.show(3) verwendet habe.

Der KeyError sagt: KeyError: 'SPARK_HOME'. Ich nehme an, SPARK_HOME ist nicht auf dem Master und/oder Worker definiert. Gibt es eine Möglichkeit, das SPARK_HOME-Verzeichnis automatisch auf beiden zu spezifizieren? Vorzugsweise unter Verwendung einer Initialisierungsaktion.

Py4JJavaErrorTraceback (jüngste Aufforderung zuletzt) ​​ in() ----> 1 Test.show (3)

/usr/lib/spark/python/pyspark/sql/dataframe.py in show(self, n, truncate) 
    255   +---+-----+ 
    256   """ 
--> 257   print(self._jdf.showString(n, truncate)) 
    258 
    259  def __repr__(self): 

...

raise KeyError(key) 
KeyError: 'SPARK_HOME' 

Answer 1

können Sie einfach die setzen folgende in einer Initialisierungsaktion:

#!/bin/bash 

cat << EOF | tee -a /etc/profile.d/custom_env.sh /etc/*bashrc >/dev/null 
export SPARK_HOME=/usr/lib/spark/ 
EOF 

Sie wollen feststellen, dass setzen in es Aktion vor Ihrer Jupyter-Installation Aktion, um sicherzustellen, dass es vorhanden ist, wenn der Jupyter-Prozess gestartet wird.

Edit: So geben die beiden init Aktionen, können Sie sie in eine durch Kommata getrennte Liste ohne Leerzeichen, wie diese Liste kann:

gcloud dataproc clusters create \ 
    --initialization-actions gs://mybucket/spark_home.sh,gs://mybucket/jupyter.sh ...