apache-spark

5Hitze

1Antwort

In den letzten Tagen habe ich versucht zu verstehen, wie Spark-Executoren wissen, wie ein Modul mit einem bestimmten Namen beim Import zu verwenden. Ich arbeite an AWS EMR. Situation: ich initialisier

1Hitze

1Antwort

Databricks funken csv-Check für leere Datei

Ich versuche, in einer TSV-Datei in ein Dataframe-Objekt mit dem folgenden Code zu lesen: SQLContext sqlContext = new SQLContext(javaSparkContext); Map<String, String> sqlContextOptions = new HashMap

4Hitze

1Antwort

Wie kombiniere ich N-Gramm zu einem Vokabular in Spark?

Fragen Sie sich, ob es eine eingebaute Spark-Funktion gibt, um 1-, 2-, n-Gramm-Funktionen in einem einzigen Vokabular zu kombinieren. Einstellung n=2 in NGram gefolgt von Aufruf von CountVectorizer er

0Hitze

3Antwort

S3-Bucket fehlt Rotverschiebung-Funke

Ich versuche, Daten von Rotverschiebung mit Spark-Redshift zu lesen und lief in diesen Fehler. Ich habe die Buckets in S3 erstellt und kann mit ausreichenden Berechtigungen darauf zugreifen. java.sql.

0Hitze

1Antwort

Wie modelliert man Bäume in Spark?

Ich habe eine sehr große Menge von Beiträgen & Kommentare, als eine Liste von Kanten dargestellt: children_id, parent_id Diese Paare sind Kanten in verschiedenen Bäumen. möchte ich finden, für jeden

1Hitze

1Antwort

Ausführen von zwei Versionen von Apache Spark im Cluster-Modus

Ich möchte Spark 2.0 und Spark 1.6.1 im Cluster-Modus auf einem einzelnen Cluster ausführen können, um Ressourcen gemeinsam nutzen zu können. Was sind die besten Verfahren dafür? Dies liegt daran, das

1Hitze

5Antwort

So führen Sie Update-Abfragen auf Spark-SQL

Ich bin ein Neuling in Spark.Ist es sowieso, dass ich Update-Befehl in Spark-SQL ausführen könnte. Ich habe bereits eine Hive-Tabelle erstellt, in der ich einige SQL-Syntax-Abfragen wie Einfügen, Ausw

0Hitze

1Antwort

PySpark Mllib Vorhersage aller Zeilen im Datenrahmen

Ich verwende Spark Streaming, um Chargen von JSON-Messwerten von Kafka zu erhalten. Der resultierende Stapel wird von einer RDD in einen Datenrahmen konvertiert. Mein Ziel ist es, eine Klassifizierung

0Hitze

1Antwort

Wie implementiert man einen generischen Encoder?

Ich möchte eine generische Encoder implementieren, da ich ein kleines Projekt auf Spark-1.6 haben, und wenn ich es zum Funken 2.0 zu migrieren seine mir die Warnung und Fehler von Unable to find encod

0Hitze

1Antwort

DataFrame-Objekt zeigt keine Daten an

Ich habe versucht, ein Dataframe-Objekt auf einer hdfs-Datei mit Funken csv lib wie gezeigt in this tutorial zu erstellen. Aber als ich versuchte, die Anzahl der Datenrahmen-Objekt zu erhalten, es zei