apache-spark-sql

2Hitze

2Antwort

Spark UDAF: java.lang.InternalError: Fehlerhafter Klassenname

Ich verwende Spark 1.5.0 von CDH 5.5.2 Distro. Ich wechselte von 2.10.4 zu Scala 2.10.5. Ich verwende den folgenden Code für UDAF. Ist das irgendwie String vs UTF8String Problem? Wenn ja, wird jede Hi

apache-spark apache-spark-sql spark-dataframe 2016-06-22

---

18Hitze

1Antwort

Was ist der Unterschied zwischen den Operatoren cube, rollup und groupBy?

Frage ist ziemlich im Titel. Ich kann keine detaillierte Dokumentation zu den Unterschieden finden. Ich bemerke einen Unterschied, weil ich beim Austausch von Cube und groupBy Funktionsaufrufen unters

sql apache-spark apache-spark-sql cube rollup 2016-06-22

---

0Hitze

1Antwort

Wie ändert man numpy Arrays in Spark Dataframe?

Problem: Es sind keine Zuweisungen in Lambda oder Datenrahmen Transformationen erlaubt, das bedeutet, dass wir normalerweise eine neue Struktur für jede Datenbearbeitung in Datarahmen mit Spark erstel

python numpy apache-spark pyspark apache-spark-sql 2016-06-22

---

0Hitze

1Antwort

Wie kann ein sparkR-Datenframe entpivot werden?

Ich versuche, einen Datenrahmen in SparkR zu transponieren/zu entmutigen. Ich finde keine direkte Methode, die im SparkR-Paket verfügbar ist, um das Unpivoting eines Datenrahmens durchzuführen. Ich bi

apache-spark-sql spark-dataframe unpivot sparkr 2016-06-24

---

1Hitze

1Antwort

Gespeicherte MS SQL Server-Prozeduren an Spark

Wir haben MS SQL Server als primäre Option für verschiedene Datenbanken und wir führen regelmäßig Hunderte von gespeicherten Prozeduren aus. Jetzt bewegen wir uns zu einem komplett großen Datenstapel.

sql-server apache-spark apache-spark-sql cloudera-cdh impala 2016-06-24

---

0Hitze

1Antwort

Warum ist die Quantilberechnung mit hiveContex in Spark sehr langsam?

Ich erstellte Hive-Tabelle mit 10 GB CSV-Datei mit Farbton. Dann versucht, SQL-Abfrage auszuführen. Während der Verarbeitung von Daten spricht man lange Zeit mehr als 2 Stunden. Kann mir jemand sagen,

scala apache-spark hive apache-spark-sql quantile 2016-06-24

---

0Hitze

2Antwort

Wie ganze Zeilen wählen, basierend auf verschiedene Spalten

ich dies in Funken tue cityId PhysicalAddress EmailAddress ..many other columns of other meta info... 1 b st [email protected] 1 b st [email protected] <- some rows can be entirely dupl

sql pyspark apache-spark-sql hiveql 2016-06-25

---

1Hitze

1Antwort

Wie schreibe ich riesige Daten (fast 800 GB) als Hive Orc Tabelle in HDFS mit SPARK?

Ich arbeite in Spark Project seit letzten 3-4 Monaten und vor kurzem. Ich mache eine Berechnung mit einer großen History-Datei (800 GB) und einer kleinen inkrementellen Datei (3 GB). Die Berechnung ge

apache-spark apache-spark-sql spark-dataframe 2016-06-26

---

-2Hitze

1Antwort

Spark SQL DataFrame - Wie transformiert man und erstellt einen neuen?

Ich habe einen DataFrame erstellt aus dem Lesen einer Parkettdatei. Ich wollte diesen DataFrame transformieren und einen neuen DataFrame erstellen. Mein Input File: Name PhoneNumber Shankar 23232322

java apache-spark apache-spark-sql spark-dataframe 2016-06-26

---

0Hitze

1Antwort

SparkSQL Aggregator: MissingRequirementError

Ich versuche, Apache Spark 2.0 Datensätze zu verwenden: import org.apache.spark.sql.expressions.Aggregator import org.apache.spark.sql.Encoder import spark.implicits._ case class C1(f1: String, f2

apache-spark apache-spark-sql apache-spark-dataset 2016-06-27

---