So führen Sie Update-Abfragen auf Spark-SQL

Question

Ich bin ein Neuling in Spark.Ist es sowieso, dass ich Update-Befehl in Spark-SQL ausführen könnte. Ich habe bereits eine Hive-Tabelle erstellt, in der ich einige SQL-Syntax-Abfragen wie Einfügen, Auswählen, Löschen manipuliert habe, aber den Update-Befehl nicht ausführen konnte. Ich habe auf Spark-Dokumentation und https://docs.datastax.com/en/datastax_enterprise/4.6/datastax_enterprise/spark/sparkSqlSupportedSyntax.html Website dafür gesucht. aber ich habe die UPDATE-Syntax in ihrer jüngsten Liste von Spark SQL nicht gefunden. Mit freundlicher Hilfe me.I Funken ist mit 2,0

Kalyan

Answer 1

Nein, Sie nicht Aktualisierungsabfragen tun können, werden Sie herausfinden müssen, wie es als SELECT zu tun.

Answer 2

Die allgemeine Antwort ist, dass Sie nicht können. Wenn die Daten jedoch in Hive mit ORC gespeichert werden, können Sie die Tabelle mithilfe von Spark SQL aktualisieren, beispielsweise this.

Answer 3

Nein, Sie können keine Aktualisierungsabfrage in spark-hive ausführen, es werden keine Transaktionsabfragen unterstützt.

Answer 4

DataFrame-Datensätze verfügen über keine Setter-Methoden, da DataFrames auf RDD basieren, bei denen es sich um unveränderbare Sammlungen handelt. Dies bedeutet, dass ihr Status nicht geändert werden kann. Deshalb unterstützt spark sql keine Updates.

Answer 5

HDFS ist ein einmal beschreibbares Dateisystem und ORC ist ein einmal beschreibbares Dateiformat. Bearbeitungen wurden daher mithilfe von Basisdateien und Delta-Dateien implementiert, in denen Einfüge-, Aktualisierungs- und Löschvorgänge aufgezeichnet werden.