apache-spark-sql

5Hitze

1Antwort

Ich frage mich, kann ich die Update-Abfrage in sparksql benutzen Sie einfach mögen: sqlContext.sql("update users set name = '*' where name is null") ich den Fehler bekam: org.apache.spark.sql.Analys

1Hitze

1Antwort

SPARK SQL: Get Monat Woche und Jahr

ich einen Datenrahmen mit „Woche“ haben & „Jahr“ Spalte und muss Monat berechnen für gleiche wie unten: Eingang: +----+----+ |Week|Year| +----+----+ | 50|2012| | 50|2012| | 50|2012| Erwartete Ausgabe:

4Hitze

1Antwort

Wann sollte die Spark DataFrame/Dataset API verwendet werden und wann sollte man RDD verwenden?

Spark SQL DataFrame/Dataset Ausführungs-Engine verfügt über mehrere äußerst effiziente Zeit & Speicherplatzoptimierungen (z. B. InternalRow & Ausdruck CodeGen). Nach vielen Dokumentationen scheint es

2Hitze

1Antwort

Funkendatenrahmen Funktionsfehler explodieren

Ich möchte die Funktion auf einem DF explodieren verwenden, schreibe ich nur den Code wie das Dokument: case class Url(url:String) val temp3 = temp2.explode($"urls"){ case Row(urls:Array[St

0Hitze

1Antwort

Automatische Funken Schema Inferenz für benutzerdefinierte Datenquelle

Ich implementiere Spark (1.5.2) sql RelationProvider für benutzerdefinierte Datenquelle (Eigenschaften Dateien). Kann jemand erklären, wie der automatische Inferenzalgorithmus implementiert werden sol

1Hitze

1Antwort

Intellij Setup Scala und Funke

Ich habe Intellij IDEA Community Edition. Ich brauche Hilfe bei der Konfiguration von Apache Spark für IntellJ. Ich möchte Daten von GA durch Scala..I Verwendung crealytics bekommen .. Mein build.sbt:

0Hitze

1Antwort

Funken scala: Aufgabe nicht serializable

Dies ist ein Beispiel Arbeitscode lautet: case class log(log_version: String,log_ip: String,log_from: String,SDK: String,action_time: String,action: String,sn: String,fdn: String,typ: String,vid: Stri

7Hitze

4Antwort

Zeppelin - Kann nicht mit% sql eine Tabelle abfragen Ich registrierte mich bei pyspark

Ich bin neu bei spark/Zeppelin und ich wollte eine einfache Übung, wo ich eine csv-Datei von Pandas zu Spark-Datenrahmen zu transformieren und dann registrieren Sie die Tabelle mit sql abfragen und mi

0Hitze

1Antwort

zur Gruppe Werteliste

I Gruppenliste wollen der Werte pro Taste verwenden ReduceByKey und war so etwas wie dies zu tun: sc.parallelize(Array(("red", "zero"), ("yellow", "one"), ("red", "two"))).groupByKey().collect.foreach

0Hitze

1Antwort

Wie kann man von Sparksql auf lokale Parkettdateien zugreifen?

Ich benutze einen Dropwizard Web-Service, um auf eine Reihe von Parkett-Dateien zugreifen, ich brauche "echte" SQL (Strings) nicht Funken DDL (die ich versucht habe und funktioniert, aber nicht meine