Funken: Wie „--properties-Datei“ -Option in Eclipse IDE Entwicklung

Question

I Eklipse verwendet bereitzustellen, um meine Funken Anwendung zu entwickeln, während von der Kommandozeile ausgeführt wird, verwenden i Befehl etwas wie folgt aus:

spark-submit --master yarn-client --driver-memory 4g --properties-file myAPP.conf .. 

I kann auch meine Hauptklasse direkt aus der Eclipse-IDE heraus ausführen, kann aber jedem vorschlagen, wie man --properties-file-Option beim laufen von IDE direkt gibt.

Dank Alok

Answer 1

die Konfigurationsdatei zu Ihrem Projekt hinzufügen und diese Zeilen

val configuration = new Configuration() 
    val conffile = getClass().getResourceAsStream("filepath"); 
    configuration.addResource(conffile) 

Answer 2

Fügen Sie die Eigenschaften in eine Eigenschaft als Befehlszeilenargument Datei und übergibt diese Dateinamen hinzuzufügen.

Verbrauchen Sie den Dateinamen innerhalb des Scala/Java-Programms und fügen Sie die Eigenschaften SparkConf hinzu. Eine Probe Scala Schnipsel ist unten

import java.io.FileInputStream 
import java.util.Properties 
import org.apache.spark.SparkConf 
import scala.collection.JavaConverters 

.... 

val properties: Properties = new Properties() 
properties.load(new FileInputStream("spark.properties")) 

val map = JavaConverters.propertiesAsScalaMapConverter(properties).asScala; 

val sparkConf = new SparkConf().setAppName("SampleJob").setAll(map) 

gezeigt

Alle Eigenschaftsnamen und Werte sollten d.h. im Eigenschafts Format sein, --driver-memoryspark.driver.memory übersetzt.