apache-spark-sql

0Hitze

1Antwort

Spark-Schreibspalten Array <double> Tabelle Hive

Spark 1.6, versuche ich Arrays zu einem Hive-Tabelle myTable bestehend aus zwei Säulen, die jeweils Typ speichern array<double>: val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) import

scala apache-spark apache-spark-sql 2016-07-19

---

0Hitze

1Antwort

Welche spezifischen Vorteile können wir erzielen, wenn SparkSQL für den Zugriff auf Hive-Tabellen verwendet wird, verglichen mit der Verwendung von JDBC zum Lesen von Tabellen vom SQL Server?

Ich habe diese Frage beim Entwerfen des Speicherabschnitts für eine Hadoop-basierte Plattform erhalten. Wenn wir Data Scientists Zugriff auf die Tabellen haben wollen, die bereits in einer relationale

azure hadoop jdbc apache-spark apache-spark-sql 2016-07-19

---

2Hitze

2Antwort

Spark SQL - Wählen Sie alle UND berechneten Spalten?

Dies ist eine totale Noob-Frage, sorry dafür. In Spark kann ich wählen wie: df.select("*"); //to select everything df.select(df.col("colname")[, df.col("colname")]); //to select one or more columns

java apache-spark apache-spark-sql 2016-07-19

---

11Hitze

1Antwort

Wie verbindet man HBase und Spark mit Python?

Ich habe eine peinlich parallele Aufgabe, für die ich Spark verwende, um die Berechnungen zu verteilen. Diese Berechnungen sind in Python und ich benutze PySpark, um die Daten zu lesen und vorzuverarb

python apache-spark hbase pyspark apache-spark-sql 2016-07-19

---

1Hitze

1Antwort

Spark Hive - UDFArgumentTypeException mit Fensterfunktion?

Ich habe folgendes df: +------------+----------------------+-------------------+ |increment_id|base_subtotal_incl_tax| eventdate| +------------+----------------------+-------------

java apache-spark hive apache-spark-sql window-functions 2016-07-20

---

1Hitze

1Antwort

Spark, Hive SQL - Fensterfunktion implementieren?

Ich versuche, die folgende Lösung zu implementieren: window function Ich habe folgendes df: +------------+----------------------+-------------------+ |increment_id|base_subtotal_incl_tax| e

apache-spark hive apache-spark-sql window-functions 2016-07-20

---

15Hitze

4Antwort

Überschreiben bestimmter Partitionen in Spark Dataframe Schreibmethode

Ich möchte bestimmte Partitionen anstelle von alle in Spark zu überschreiben. Ich versuche, den folgenden Befehl ein: df.write.orc('maprfs:///hdfs-base-path','overwrite',partitionBy='col4') wo df Da

apache-spark apache-spark-sql spark-dataframe 2016-07-20

---

2Hitze

1Antwort

Spark: Computing-Korrelationen eines DataFrame mit fehlenden Werten

Ich habe derzeit einen DataFrame von Doppel mit ungefähr 20% der Daten, die Nullwerte sind. Ich möchte die Pearson-Korrelation einer Spalte mit jeder anderen Spalte berechnen und die Spalten-IDs der o

scala apache-spark apache-spark-sql apache-spark-mllib 2016-07-20

---

1Hitze

1Antwort

Umwandlung eine Spalte in einem RDD/Dataframe

Ich habe diese Zeile: val decryptedDFData = sqlContext.read.json(patientTable.select("data").map(row => decrypt(row.toString()))) , die gerade den „Daten“ -Spalte von einem anderen Datenrahmen „pati

scala apache-spark apache-spark-sql spark-dataframe 2016-07-20

---

1Hitze

1Antwort

Kann ich SELECT from Dataframe verwenden, anstatt diese temporäre Tabelle zu erstellen?

Ich bin derzeit mit: +---+-------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------

scala apache-spark apache-spark-sql 2016-07-21

---