Ich weiß, dass ich es als Paket Anforderung hinzufügen soll, wenn pyspark Start:Wie füge ich das Databricks Funken csv-Paket zu einem Notebook Python Jupyter auf IBM Bluemix
$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0
Aber in Bluemix, Funke bereits läuft und ein Funkenkontext ist bereits definiert. Wie kann ich dieses Paket hinzufügen?
Eine Randnotiz, wäre ich in der Lage, dies in Scala zu tun?
Bei Bluemix, das PySpark in einem Python-Notebook verwendet, ist es derzeit nicht möglich, der Umgebung spark-csv hinzuzufügen.
Sie können jedoch in einem Scala Notebook mit diesem Befehl hinzufügen:
%AddDeps com.databricks spark-csv_2.10 1.3.0 --transitive
Natürlich können Sie eine andere Version des Pakets wählen.
Für Scala Notebooks und die entsprechenden Spark-Kernel haben einen Blick auf die folgende Dokumentation: https://github.com/ibm-et/spark-kernel/wiki/List-of-Current-Magics-for-the-Spark-Kernel