So verwenden Funken mit HiveContext

Ich bin neu in spark.I HiveContext in sparkSQL zu verwenden, versuche Fenster functions.But zuzugreifen, wenn ich diese geben,So verwenden Funken mit HiveContext

import org.apache.spark.sql.hive.HiveContext

ich die folgende Fehlermeldung erhalten:

error: object hive is not a member of package org.apache.spark.sql

Ich fand die Lösung, die ich brauche, um die folgenden Abhängigkeiten in build.sbt-Datei enthalten.

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2

Aber ich weiß nicht, wo soll ich diese build.sbt Datei in Funken finden Sollte ich in, ändern

/home/cloudera/spark-1.5.2/build/sbt

(oder)

/home/cloudera/spark-1.5.2/sbt/sbt

(oder)

/home/cloudera/spark-1.5.2/project/plugins.sbt

Bitte helfen Sie mir um die Abhängigkeiten in der Datei build.sbt hinzuzufügen.

Quelle

2016-03-23 Revathi

Sie versuchen also Spark von Grund auf neu zu erstellen? – zero323

yes..Ich versuche, es von Grund auf neu zu bauen. Aber vor dem Build muss ich die Abhängigkeiten in der Datei build.sbt hinzufügen. Aus welchem Ordner sollte ich die Datei build.sbt in spark bekommen? – Revathi

Um Spark mit Hive-Unterstützung zu erstellen, müssen die Builddefinitionen nicht geändert werden. Nur stellt sicher, dass Sie benötigten Profile

Maven

mvn -Phive -Phive-thriftserver -DskipTests ... clean package

SBT

build/sbt -Phive -Phive-thriftserver ... assembly

Hinzufügen spark-hive aktivieren als eine Abhängigkeit nur erforderlich, wenn Sie Ihre eigenen Projekte zu bauen.

Auch, bitte nicht, dass vor-gebaute (spark-[SPARK-VERSION]-bin-hadoop[HADOOP-VERSION].tgz Dateien) Binärdateien verfügbar von Spark Downloads Seite sind bereits mit Hive-Unterstützung gebaut.

Quelle

2016-03-23 18:40:28 zero323

Danke für Ihre Antwort. – Revathi

Antwort

Verwandte Themen