Wie kann ich Funkenanwendung lokal debuggen?

Question

Ich bin sehr neu zu funken und ich möchte nur Schritt für Schritt lernen, wie man eine Funkenanwendung lokal debuggt? Könnte irgendjemand bitte die notwendigen Schritte beschreiben, um dies zu tun?

Ich kann die SimpleApp auf der Spark-Website lokal von der Befehlszeile ausführen, aber ich muss nur den Code durchlaufen und sehen, wie es funktioniert. Jede Hilfe wird sehr geschätzt. Vielen Dank.

Answer 1

Die Spark-Shell einschalten. Dies ist direkt aus dem Spark documentation:

./bin/spark-shell --master local[2] 

Sie werden auch die Spark-Shell als REPL bezeichnet sehen. Es ist bei weitem der beste Weg, um Spark zu lernen. Ich verbringe 80% meiner Zeit in der Spark-Shell und die anderen 20% übersetzen den Code in meine Anwendung.

Answer 2

Übergeben Sie einfach Java-Optionen, um den Debug-Port zu öffnen. Hier ist schöner Artikel Adressieren Ihre Frage - http://danosipov.com/?p=779 Ich verwende es wie

$ SPARK_JAVA_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005 spark-shell 

(ja, SPARK_JAVA_OPTS ist veraltet, aber es funktioniert gut)

Answer 3

Als David Griffin erwähnt, spark-shell verwendet, kann sehr hilfreich sein, . Ich finde jedoch, dass das eigentliche lokale Debugging, das Setzen von Breakpoints, das Untersuchen von Variablen usw. unerlässlich ist. Hier ist, wie ich es mit IntelliJ mache.

Stellen Sie zuerst sicher, dass Sie Ihre Funkenanwendung lokal unter Verwendung von spark-submit, z. so etwas wie:

spark-submit --name MyApp --class MyMainClass --master local[2] myapplication.jar 

Dann informieren Sie Ihren lokalen Funken Fahrer anzuhalten und für eine Verbindung von einem Debugger warten, wenn er startet, durch Hinzufügen einer Option wie folgt aus:

--conf spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 

wo agentlib:jdwp ist die Java Debug Wire Protocol Option durch eine durch Kommata getrennte Liste von Unteroptionen gefolgt:

• transport definiert das Verbindungsprotokoll zwischen Debugger und Debuggee verwendet - eithe r Socket oder "shared memory" - Sie wollen fast immer socket (dt_socket) außer ich glaube in einigen Fällen auf Microsoft Windows
• ob dieser Prozess sollte der Server sein, wenn mit dem Debugger (oder umgekehrt, der Client) - - Sie benötigen immer einen Server und einen Client. In diesem Fall sind wir der Server und warten auf eine Verbindung vom Debugger
• suspend, ob die Ausführung angehalten werden soll, bis ein Debugger erfolgreich verbunden ist. Wir schalten das ein, damit der Treiber nicht startet, bis der Debugger
• address hier verbindet, das ist der Port, auf dem (für eingehende Debugger-Verbindungsanforderungen) überwacht wird.Sie können es auf jedem verfügbaren Port eingestellt (Sie müssen nur sicherstellen, dass der Debugger auf demselben Port verbinden konfiguriert ist)

So, jetzt Ihr spark-submit Kommandozeile etwas aussehen sollte:

spark-submit --name MyApp --class MyMainClass --master local[2] --conf spark.driver.extraJavaOptions=agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 

Nun, wenn Sie die oben ausführen, sollten Sie so etwas wie

Listening for transport dt_socket at address: 5005 

und Ihre Funken Anwendung wartet der Debugger anhängen sehen.

Als nächstes öffnen Sie das IntelliJ-Projekt mit Ihrer Spark-Anwendung, und öffnen Sie dann "Ausführen -> Konfigurationen bearbeiten ..." Klicken Sie dann auf das "+", um eine neue Run/Debug-Konfiguration hinzuzufügen, und wählen Sie "Remote". Gib ihm einen Namen, z.B. "SparkLocal", wählen Sie "Socket" für den Transport, "Attach" für den Debugger-Modus und geben Sie "localhost" für Host und den oben für Port verwendeten Port ein, in diesem Fall "5005". Klicken Sie auf "OK", um zu speichern.

In meiner Version von IntelliJ gibt es Vorschläge für die Debug-Befehlszeile für den debugged Prozess, und es verwendet "suspend = n" - wir ignorieren das und verwenden "suspend = y" (wie oben) weil wir wollen, dass die Anwendung wartet, bis wir uns verbinden, um zu beginnen.

Jetzt sollten Sie bereit sein zu debuggen. Starten Sie einfach spark mit dem obigen Befehl, wählen Sie dann die IntelliJ-Run-Konfiguration, die Sie gerade erstellt haben und klicken Sie auf Debug. IntelliJ sollte eine Verbindung zu Ihrer Spark-Anwendung herstellen, die nun gestartet werden sollte. Sie können Breakpoints setzen, Variablen überprüfen usw.

Answer 4

@Jason Evans 'Antwort hat bei mir nicht funktioniert. Aber

--conf spark.driver.extraJavaOptions=-Xrunjdwp:transport=dt_socket,server=y,address=8086,suspend=n 

arbeitete

Answer 5

nur eine kleine Änderung für @ Jason Evans Antwort benötigt wird. Es braucht ein '-' vor dem String "agentlib ...."

--conf spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 

Sie auch die Möglichkeit nutzen könnten "--driver-java-Optionen" den gleichen Zweck

--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005