Ich möchte spark jdbc mit Python verwenden. Erster Schritt war ein Glas hinzuzufügen:Wie fügt man ein Potton-Notizbuch auf bluemix funken hinzu?
%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f
jedoch die Antwort:
ERROR: Line magic function `%AddJar` not found.
Wie kann ich JDBC JAR-Dateien in einem Python-Skript hinzufügen?
Derzeit ist dies nicht nur von einem Python-Notebook möglich; aber es wird als wichtige Voraussetzung verstanden. Was Sie tun können, bis dies unterstützt wird, ist von der gleichen Spark-Service-Instanz Ihres Python-Notebooks, erstellen Sie ein Scala-Notebook und %AddJar von dort. Dann können alle Python-Notizbücher derselben Spark-Dienstinstanz darauf zugreifen. Bei Py-Notizbüchern, die aktiv waren, als Sie das Jar aus der Scala nb hinzugefügt haben, müssen Sie ihre Kernel neu starten.
Beachten Sie, dass dies für Notebook-Instanzen auf Jupyter 4+ funktioniert, aber nicht unbedingt für frühere IPython-Notebook-Instanzen; Überprüfen Sie die Version über ein Menü im Menü Hilfe -> Info. Alle neu erstellten Notizbuch-Instanzen werden auf Jupyter 4+ installiert.
Ich glaube nicht, dass dies in Notebook Python Kernel als% Addjar ist Scala Kernel Magic-Funktion in Notebook möglich ist.
Sie müssten sich auf den Dienstanbieter verlassen, um dieses Jar dem Python-Kernel hinzuzufügen.
Eine andere Sache, die Sie versuchen könnten, ist sc.addjar(), aber nicht sicher, wie es funktionieren würde.
Add jar to pyspark when using notebook
Danke, Charles.
Sie können dies versuchen:
spark.sparkContext.addFile("filename")