apache-spark-1.5

5Hitze

2Antwort

Optionen zum Lesen großer Dateien (reiner Text, xml, json, csv) aus hdfs in RStudio mit SparkR 1.5

Ich bin neu bei Spark und würde gerne wissen, ob es andere Optionen als die unten stehenden gibt, um Daten in einem zu lesen hdfs von RStudio mit SparkR oder wenn ich sie richtig verwende. Die Daten k

6Hitze

1Antwort

Speichern/Exportieren von transformiertem DataFrame zurück zu JDBC/MySQL

Ich versuche herauszufinden, wie man mit dem neuen DataFrameWriter Daten in eine JDBC-Datenbank zurückschreibt. Ich kann keine Dokumentation dafür finden, obwohl es scheint, dass es möglich sein sollt

0Hitze

1Antwort

Automatische Funken Schema Inferenz für benutzerdefinierte Datenquelle

Ich implementiere Spark (1.5.2) sql RelationProvider für benutzerdefinierte Datenquelle (Eigenschaften Dateien). Kann jemand erklären, wie der automatische Inferenzalgorithmus implementiert werden sol

6Hitze

1Antwort

Konvertieren von Nullwerten in ein leeres Array in Spark DataFrame

Ich habe einen Spark-Datenrahmen, wobei eine Spalte ein Array von ganzen Zahlen ist. Die Spalte ist nullbar, da sie von einem linken äußeren Join stammt. Ich möchte alle NULL-Werte in ein leeres Array

16Hitze

6Antwort

„INSERT INTO ...“ mit SparkSQL HiveContext

Ich versuche, eine Insert-Anweisung mit meinem HiveContext, wie dies auszuführen: hiveContext.sql('insert into my_table (id, score) values (1, 10)') Die 1.5.2 Spark SQL Documentation nicht explizit

0Hitze

1Antwort

Kann Dateien von HDFS in Spark nicht verwenden

Ich habe Spark-1.6.1-Version heruntergeladen. Es ist bereits für meine hadoop 2.6-Version gebaut, also musste ich es nur entpacken und mich nicht mit den eingebauten Tools anlegen. In meiner Kern-Date

11Hitze

1Antwort

Wie verbindet man Zeppelin mit Spark 1.5 aus den Quellen?

Ich zog die neueste Quelle aus dem Spark-Repository und baute lokal. Es funktioniert gut von einer interaktiven Shell wie spark-shell oder spark-sql. Jetzt möchte ich Zeppelin an meinen Spark 1.5, nac