apache-spark

5Hitze

4Antwort

Spark - Wie benutzt man das trainierte Empfehlungsmodell in der Produktion?

Ich benutze Spark, um einen Empfehlungssystem-Prototyp zu bauen. Nach einigen Tutorials konnte ich aus meinen Daten ein MatrixFactorizationModel trainieren. Allerdings ist das von Spark mllib trainier

6Hitze

2Antwort

Wie bekomme ich die nte Reihe von Spark RDD?

Angenommen, ich habe eine RDD von beliebigen Objekten. Ich möchte die zehnte Zeile der RDD bekommen. Wie würde ich das tun? Eine Möglichkeit besteht darin, rdd.take (n) zu verwenden und dann auf das n

9Hitze

2Antwort

sbt - bestimmte Abhängigkeit nur während der Veröffentlichung auszuschließen

Ich baue eine Dienstprogramm-Bibliothek, die zusammen mit einer der 1.0, 1.1, 1.2-Version von Apache Spark verwendet werden kann. Da sie alle binär abwärtskompatibel sind, möchte ich den Benutzer ents

5Hitze

2Antwort

Dateien rekursiv aus Unterverzeichnissen mit Spark von s3 oder lokalem Dateisystem lesen

Ich versuche, Dateien aus einem Verzeichnis zu lesen, das viele Unterverzeichnisse enthält. Die Daten sind in S3 und ich versuche, dies zu tun: val rdd =sc.newAPIHadoopFile(data_loc, classOf[org.

7Hitze

3Antwort

Wie kann Spark RDD zwischen zwei Spark-Kontexten geteilt werden?

Ich habe einen RMI-Cluster. Jeder RMI-Server verfügt über einen Spark-Kontext. Gibt es eine Möglichkeit, eine RDD zwischen verschiedenen Spark-Kontexten zu teilen?

5Hitze

1Antwort

Wie binäre Daten in Apache Spark 'Pipe'

Ich habe eine RDD mit binären Daten. Ich möchte 'RDD.pipe' verwenden, um diese binären Daten an ein externes Programm zu übergeben, das es in String/Text-Daten übersetzt. Unglücklicherweise scheint Sp

6Hitze

2Antwort

PySpark distinct(). Count() für eine CSV-Datei

Ich bin neu zu funken und ich versuche, eine distinct(). Count() basierend auf einigen Feldern einer CSV-Datei. Csv Struktur (ohne Header): id,country,type 01,AU,s1 02,AU,s2 03,GR,s2 03,GR,s2 zu

5Hitze

2Antwort

Spark-Streaming mit JMS - Nein API

Gibt es eine API/Möglichkeit, Spark-Streaming mit JMS zu integrieren. Ich bin in der Lage, mit Kafka und Sockets zu integrieren, aber mit Jms Warteschlange oder Thema zu integrieren, die ich nicht kan

6Hitze

1Antwort

Wie RDD in mehrere RDDs duplizieren?

Ist es möglich, eine RDD in zwei oder mehrere RDDs zu duplizieren? Ich möchte den Cassandra-Spark-Treiber verwenden und eine RDD in einer Cassandra-Tabelle speichern, und zusätzlich mit weiteren Berec

8Hitze

2Antwort

Spark SQL: wie SQL-Abfrage-Ergebnis ohne Verwendung von rdd.cache()

Cache Caching Cache-SQL-Abfrage-Ergebnis ohne Verwendung von rdd.cache()? für Beispiele: output = sqlContext.sql("SELECT * From people") Wir output.cache() verwenden können das Ergebnis zwischenzusp