apache-spark

-1Hitze

1Antwort

Warum wir RDD erstellen, um Daten in Hbase zu speichern? Gibt es andere Möglichkeiten, Daten in Hbase zu speichern?

Ich bin völlig neu in Bigdata, Hadoop und Spark. Ich bin von Java Hintergrund. Also versuche ich zu verstehen, warum Menschen immer RDD erstellt, um den Datensatz in HBASE zu speichern. Könnte mir jem

4Hitze

2Antwort

Spark 2.0.0: SparkR CSV-Import

Ich versuche, eine CSV-Datei in SparkR (mit Spark 2.0.0) zu lesen - & versucht, mit den neu hinzugefügten Funktionen zu experimentieren. Mit RStudio hier. Ich erhalte einen Fehler beim "Lesen" der Que

0Hitze

1Antwort

So führen Sie eine dynamische Partition basierend auf Zeilenanzahl in DataFram für einen Spaltenwert

Ich versuche, eine Eingabedatei basierend auf accountId zu partitionieren Aber diese Partition wurde nur erstellt, wenn dataFrames mehr als 1000 Datensätze enthält. Die ist eine dynamische Ganzzahl, d

1Hitze

1Antwort

Funken Mllib sbt mit Kompilieren

Ich habe einige Änderungen bauen jetzt eine Zeit lang im Inneren Funken Mllib und jedes Mal, wenn ich Spark kompilieren wollen will, muss ich folgendes tun: sbt update sbt compile sbt clean sbt pac

0Hitze

3Antwort

Ausführen von Hive-Abfrage auf spark - java.lang.NoClassDefFoundError org/apache/hive/spark/client/Job

Ich versuche, Hive auf Spark funktioniert ordnungsgemäß, aber es scheint, als würde es nicht laden die hive-exec-2.0.1 .Krug. Ich kann Hive auf Herrn bekommen, um völlig in Ordnung zu sein. Im mit Hiv

0Hitze

1Antwort

Spark: Speichern von RDD in einem bereits vorhandenen Pfad in HDFS

Ich bin in der Lage, die RDD-Ausgabe in HDFS mit saveAsTextFile Methode zu speichern. Diese Methode löst eine Ausnahme aus, wenn der Dateipfad bereits existiert. Ich habe einen Anwendungsfall, wo ich

2Hitze

1Antwort

Sie haben Zugriff auf Methoden aus einzelnen Phasen in PySpark PipelineModel?

Ich habe ein PipelineModel dafür LDA Spark 2.0 (via PySpark API) erstellt: def create_lda_pipeline(minTokenLength=1, minDF=1, minTF=1, numTopics=10, seed=42, pattern='[\W]+'): """ Create a p

2Hitze

1Antwort

Spark History Logs sind nicht aktiviert mit Oozie Spark Aktion in Cloudera

Ich versuche, diese Anweisungen zu folgen, um Protokollierungsprotokolle mit Spark Oozie Aktion zu aktivieren. https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.html Um sicherzuste

0Hitze

1Antwort

Spark RDD Union OOM-Fehler bei der Verwendung von Einzelmaschine

Ich habe den folgenden Code, der die eindeutigen Telefonnummern erhält, und Union aller Anrufe erstellt. //Get all the calls for the last 24 hours for each MSISDN in the hour val sCallsPlaced = (grou

0Hitze

1Antwort

Spark: do Setup-Arbeit für Executor anstelle von Partition

Wie wir wissen, können wir die Setup-Arbeit für jede Partition mit MapPartition usw. tun, aber ich habe so viele Partitionen in jedem Executor und jede Partition die genaue Setup-Arbeit zu tun. Ich fr