Wie kann man Scala IDE davon überzeugen, das org.apache.spark.graphx._ Paket zu erkennen?

Wenn ich versuche, GraphX in meine Arbeit zu schließen, es scheint, ich bin etwas falsch zu machen, weil Scala IDE nicht org.apache.spark.graphx._ oder etwas zu Graphen (!)Wie kann man Scala IDE davon überzeugen, das org.apache.spark.graphx._ Paket zu erkennen?

ich etwas vermissen Hat im Zusammenhang erkennt, wenn ich mein Projekt zuerst erstellt ? Muss ich zusätzliche Bibliotheken hinzufügen (wie?)?

Quelle

2016-03-27 HoussemKhe

Sie müssen die GraphX-Abhängigkeit zu Ihrer Pom-Datei hinzufügen.

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-graphx_2.10</artifactId> 
    <version>1.6.1</version> 
</dependency>

Quelle

2016-03-27 05:58:37 kliew

Ich habe noch einige Fragen bitte! One: Ich habe diesen Remote-Archetypen-Katalog aus einem Buch verwendet, um mein Maven-Projekt zu erstellen (https://github.com/spark-in-action/scala-archetype-sparkinaction/raw/master/archetype-catalog.xml). Bietet Scala IDE oder Spark einen eigenen Standardkatalog, den ich (statt wie oben beschrieben) verwenden kann, um meine Maven-Projekte korrekt zu erstellen? Zweitens: Wie kann ich die Protokollierungsstufe in der IDE-Konsole ändern? Ich habe sc.setLogLevel ("ERROR") benutzt, aber es zeigt mir immer noch INFO und WARN! – HoussemKhe

Ich empfehle, Abhängigkeiten manuell zu verwalten. Beginnen Sie mit 'spark-core' und' Spark-graphx' und fügen Sie bei Bedarf weitere Bibliotheken hinzu. – kliew

Versuchen Sie 'import org.apache.log4j.Logger; importieren org.apache.log4j.Level; Logger.getLogger ("org"). SetLevel (Level.ERROR) ' – kliew

Es gibt jetzt eine --packages Option für die Spark-Shell. Sie verwenden es wie folgt:

spark-shell --packages [maven:coordinates:here]

Quelle

2016-03-28 16:47:31

Wie kann man Scala IDE davon überzeugen, das org.apache.spark.graphx._ Paket zu erkennen?

Antwort

Verwandte Themen