apache-spark-sql

0Hitze

1Antwort

Wie kann ich auswählen, welche doppelten Zeilen gelöscht werden sollen?

Ich versuche, ein neues Dataset mit einem alten Dataset zusammenzuführen, ich habe einen Seq [String] von Primärschlüsseln für jeden Tabellentyp und einen alten Dataframe und einen neuen Dataframe mit

2Hitze

1Antwort

java.lang.ClassNotFoundException: Die Datenquelle konnte nicht gefunden werden: com.cloudant.spark. Im IBM BigInsights-Cluster

Ich habe eine IBM BigInsights-Dienstinstanz mit einem Hadoop-Cluster mit 5 Knoten (einschließlich Apache Spark) erstellt. Ich versuche, SparkR zu verwenden, um eine Cloudant-Datenbank zu verbinden, ei

1Hitze

1Antwort

falsche Daten beim Laden JDBC-Tabelle in Spark-SQL

habe ich eine Tabelle "Studenten" in MariaDB mit 2 Reihen von Daten: id name marks -- --------- ----- 1 saptarshi 98 2 sagar 95 Ich möchte JDBC verwenden, um diese Tabelle in funken SQL zu lese

1Hitze

1Antwort

Spark SQL vs HIVE auf Spark

Unterschied zwischen Spark-SQL und Hive on Spark. Ich gehe durch die Dokumentation von Spark und SQL und versuche, den Unterschied zwischen Spark-SQL und HIVE auf Spark zu verstehen. Betrachten wir ei

5Hitze

2Antwort

pyspark 2.0 werfen AlreadyExistsException (Nachricht: Datenbank Standard existiert bereits), wenn mit Bienenstock

Ich habe gerade zu spark 2.0.0 von 1.3.1 aktualisiert, schrieb ich einen einfachen Code, um mit Hive (1.2.1) verwendet Funken zu interagieren sql, ich habe die hive-site.xml in das Verzeichnis config

0Hitze

1Antwort

HIVE auf Spark-Ausgabe

Ich versuche Hive auf Funken zu konfigurieren, aber auch nach 5 Tage lang versucht, ich bekommen habe keine Lösung .. Schritte folgen: 1.After Funken Installation, in hive gehen Konsole und Einstellun

0Hitze

1Antwort

Wie implementiert man einen generischen Encoder?

Ich möchte eine generische Encoder implementieren, da ich ein kleines Projekt auf Spark-1.6 haben, und wenn ich es zum Funken 2.0 zu migrieren seine mir die Warnung und Fehler von Unable to find encod

0Hitze

1Antwort

DataFrame-Objekt zeigt keine Daten an

Ich habe versucht, ein Dataframe-Objekt auf einer hdfs-Datei mit Funken csv lib wie gezeigt in this tutorial zu erstellen. Aber als ich versuchte, die Anzahl der Datenrahmen-Objekt zu erhalten, es zei

0Hitze

1Antwort

Spark Fix Task-Nummer für Funken Sql-Jobs

Ich sehe, dass Apache Spark plant Reihe von Stufen mit einer festen 200 Aufgaben beteiligt. Da dies bei einer Reihe verschiedener Jobs immer wieder passiert, vermute ich, dass dies irgendwie mit einer

3Hitze

1Antwort

So speichern Sie org.apache.spark.mllib.linalg.Vector im Datenframe zu Cassandra

Ich habe eine Anforderung zum Speichern von Datenrahmen, die org.apache.spark.mllib.linalg.Vector in einer der Spalte enthält. Beim Erstellen der Tabelle in Cassandra aus dem Datenframe wirft es Fehle