Ich habe einen SPARK-Cluster auf HDInsight eingerichtet und versuchte GraphFrames mit this tutorial zu verwenden.wie GraphFrames in SPARK auf HDInsight-Cluster verwenden
Ich habe bereits die benutzerdefinierten Skripts während der Cluster-Erstellung verwendet, um die GraphX auf dem Funkencluster wie hier beschrieben zu aktivieren.
Wenn ich den Notizblock leite,
import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.graphframes._
bekomme ich folgende Fehler
<console>:45: error: object graphframes is not a member of package org
import org.graphframes._
^
ich die graphframes
vom Funken Terminal über Jupyter mit dem folgenden Befehl zu installieren versucht:
$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.1.0-spark1.5
aber immer noch kann ich es nicht funktionieren. Ich bin neu bei Spark und HDInsight, also kann jemand bitte darauf hinweisen, was ich sonst noch auf diesem Cluster installieren muss, damit das funktioniert.
Es sieht so aus, als ob Ihre GraphX-Verbindung unterbrochen ist ... –
Wie kann ich das überprüfen? – Kiran
haben Sie es in einem Nicht-HDInsight-Cluster versucht? – eliasah