reduceByKey Methode nicht in IntelliJ

Question

hier gefunden wird, ist Code Ich versuche, für reduceByKey aus:

import org.apache.spark.rdd.RDD 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkContext 
import scala.math.random 

import org.apache.spark._ 
import org.apache.spark.storage.StorageLevel 

object MapReduce { 

    def main(args: Array[String]) { 

    val sc = new SparkContext("local[4]" , "") 

    val file = sc.textFile("c:/data-files/myfile.txt") 

    val counts = file.flatMap(line => line.split(" ")) 
    .map(word => (word, 1)) 
    .reduceByKey(_ + _) 

    } 

} 

Ist Compiler-Fehler geben:

Wenn ich den Mauszeiger über die Umsetzung von reduceByKey "kann nicht Symbol reduceByKey lösen" es gibt drei mögliche Implementierungen, so dass es scheint es gefunden wird:

Answer 1

ich mal bemerkt, dass IJ kann Methoden nicht auflösen, die implizit über PairRDDFunctionshttps://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/PairRDDFunctions.scala importiert werden.

Die Methoden implizit importiert gehören die reduceByKey * und reduceByKeyAndWindow * Methoden. Ich habe nicht eine allgemeine Lösung zu diesem Zeitpunkt -außer, die ja Sie sicher den Intellisense Fehler

Answer 2

Sie müssen ignorieren können den folgenden Import zu Ihrer Datei hinzuzufügen:

Import org.apache.spark.SparkContext ._

Spark-Dokumentation:

"In Scala, sind diese Operationen automatisch auf RDDs enthält Tuple2 o bjects (die eingebauten Tupel in der Sprache, erstellt durch einfaches Schreiben (a, b)), , solange Sie org.apache.spark.SparkContext._ in Ihrem Programm importieren, um Sparks implizite Konvertierungen zu ermöglichen. Die Schlüssel/Wert-Paar-Operationen sind in der Klasse PairRDDFunctions verfügbar, die automatisch eine RDD von Tupeln umschließt, wenn Sie die Konvertierungen importieren. "

Answer 3

Es scheint, als ob das dokumentierte Verhalten in Spark-1.4x geändert hat haben IntelliJ die impliziten Konvertierungen erkennen Sie nun den folgenden Import hinzufügen:?

import org.apache.spark.rdd.RDD._