2016-05-10 11 views
0

Dies ist mein Code mit Gerinne für die Integration von Funken Streaming:nicht gefunden: Wert FlumeUtils

val conf = new SparkConf() 
     .setAppName("File Count") 
     .setMaster("local[2]") 

    val sc = new SparkContext(conf) 
    val ssc = new StreamingContext(sc, Seconds(10)) 
val flumeStream = FlumeUtils.createPollingStream(ssc,192.168.1.31,8020) 

Aber ich habe einen Fehler: nicht gefunden: Wert FlumeUtils
Das ist mein pom.xml:

 <dependency> 
      <groupId>org.scala-lang</groupId> 
      <artifactId>scala-library</artifactId> 
      <version>2.10.4</version> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      <version>1.6.1</version> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-streaming-flume-sink_2.10</artifactId> 
      <version>1.5.0</version> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-streaming_2.10</artifactId> 
      <version>1.5.0</version> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.commons</groupId> 
      <artifactId>commons-lang3</artifactId> 
      <version>3.3.2</version> 
     </dependency> 

Meine Funken Version ist 1.5.0
Jede Hilfe !!! und danke im voraus.

Antwort

0

FlumeUtils ist eine Klasse unter org.apache.spark.streaming.flume. In Ihrer Datei pom.xml ist das Artefakt, das Sie importieren möchten, spark-streaming-flume-sink_2.10, das nicht die Klasse FlumeUtils enthält.

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-flume-sink_2.10</artifactId> 
    <version>1.5.0</version> 
</dependency> 

Statt die unten Artefakt importieren:

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-flume_2.10</artifactId> 
    <version>1.5.0</version> 
</dependency> 

Hoffnung, das hilft.