apache-spark

6Hitze

2Antwort

Hadoop DistributedCache-Funktionalität in Spark

Ich bin auf der Suche nach einer Funktionalität ähnlich dem verteilten Cache von Hadoop in Spark. Ich brauche eine relativ kleine Datendatei (mit einigen Indexwerten), um in allen Knoten vorhanden zu

12Hitze

1Antwort

Wie weit wird Spark RDD Cache gehen?

sagen, dass ich drei RDD Transformationsfunktion auf RDD1 genannt haben: def rdd2 = rdd1.f1 def rdd3 = rdd2.f2 def rdd4 = rdd3.f3 Jetzt möchte ich rdd4 zwischenzuspeichern, so nenne ich rdd4.cache

8Hitze

2Antwort

Parsen json in spark-streaming

Ich bin ziemlich neu zu funken und ich versuche, ein DStream als ein Json von einem Kafka-Thema strukturiert zu erhalten, und ich möchte den Inhalt jedes json analysieren. Die json ich erhalte, ist so

9Hitze

1Antwort

Funken MLlib - Collaborative Filtering Implicit-Feed

So baue ich ein implizites Feedback recommender Modell Spark 1.0.0 und ich versuche, das Beispiel, das sie auf ihrer Collaborative Filtering Seite zu folgen: http://spark.apache.org/docs/latest/mllib-

5Hitze

1Antwort

Wie konfiguriert man HBase in Spark?

Was sind die Schritte, um Spark mit HBase zu verbinden? Ich habe die Master-Adressen für beide. Füge ich einfach die hbase-Adresse in den Spark-Klassenpfad ein?

12Hitze

3Antwort

Eigenständiger Funkencluster. Job kann nicht programmgesteuert übergeben werden -> java.io.InvalidClassException

Spark-Kollegen, ich bin ziemlich neu in Spark, deshalb hoffe ich auf Ihre Hilfe in der Tat. Ich versuche, den recht einfachen Job auf Spark Cluster von meinem Laptop zu planen. Obwohl es funktioniert,

23Hitze

6Antwort

Warum schlägt ein Job mit "Kein Platz auf dem Gerät" fehl, aber df sagt das Gegenteil?

Bei der Ausführung einer mische meinen Funkenjob schlägt fehl, und sagt, dass „kein Speicherplatz auf dem Gerät links“, aber wenn ich df -h laufen, sagt er mich Freiraum gelassen habe! Warum passiert

11Hitze

2Antwort

Wie implementiert man "Cross Join" in Spark?

Wir planen, Apache Pig-Code auf die neue Spark-Plattform zu verschieben. Pig hat ein "Bag/Tuple/Field" -Konzept und verhält sich ähnlich wie eine relationale Datenbank. Pig unterstützt CROSS/INNER/OUT

8Hitze

3Antwort

Apache Spark: distinct funktioniert nicht?

Hier ist mein Code Beispiel: case class Person(name:String,tel:String){ def equals(that:Person):Boolean = that.name == this.name && this.tel == that.tel} val persons = Array(Person("peter","13

6Hitze

1Antwort

Spark-Streaming-Fenster-Operation

Das folgende ist einfacher Code, um die Wortzahl über eine Fenstergröße von 30 Sekunden und eine Foliengröße von 10 Sekunden zu erhalten. import org.apache.spark.SparkConf import org.apache.spark.str