Benötige ich den sbt scala-Paket-Generator für Pyspark-Skripte?

Question

Wenn ich Spark mit Python und nicht mit Scala verwenden möchte, brauche ich das sbt scala-Build-Tool, um JAR-Dateien zu assemblieren, damit ich diese Pakete in meinem Python-Skript verwenden kann oder brauche ich ein anderes Tool? Ich habe fast nicht existente Kenntnisse von Java, also war es irgendwie kompliziert, in den Funken zu kommen.

Danke.

Answer 1

SBT ist Scala Build Tool. Sie benötigen SBT nicht, wenn Sie PySpark verwenden.

SBT (und Maven) sind Build-Tools zum Kompilieren und Verpacken von Scala & Java-Anwendungen.

Ihre Python-Skripte für Pyspark können keine JAR-Dateien verwenden. Sie können Ihre .py, .zip oder .egg Datei (en) direkt einreichen.

http://spark.apache.org/docs/latest/submitting-applications.html