apache-spark-sql

0Hitze

2Antwort

Assertion fehlgeschlagen: Keine vordefinierten Schema gefunden, und keine Parkett-Dateien

leider habe ich ein anderes Problem mit Scala und SparkSql. Das Problem ist folgende: Exception in thread "main" java.lang.AssertionError: assertion failed: No predefined schema found, and no Parquet

3Hitze

1Antwort

Pyspark benutzerdefinierte Aggregatberechnung auf Spalten

Ich bereite Daten für die Eingabe für einen Klassifikator in Pyspark. Ich habe Aggregatfunktionen in SparkSQL verwendet, um Merkmale wie Durchschnitt und Varianz zu extrahieren. Diese sind nach Aktivi

4Hitze

1Antwort

Das Vergleichen von Datum/Uhrzeit-Objekt mit 8601 Strings gibt ein falsches Ergebnis, warum ist es erlaubt?

Vielleicht bin ich etwas fehlt offensichtlich, aber es sieht aus wie Datum aus hier zu vergleichen ist: from pyspark import SparkContext from pyspark.sql import SQLContext import pandas as pd impo

2Hitze

1Antwort

Wie dekodieren HTML-Entitäten in Spark?

Ich lese eine große Sammlung von Textdateien in einem DataFrame. Anfangs wird es nur eine Spalte haben, value. Die Textdateien verwenden HTML-Codierung (d. H. Sie haben < anstelle von < usw.). Ich

0Hitze

2Antwort

Initialisieren von HiveContext in Spark-CLI

Wenn Spark standardmäßig in der Befehlszeilenschnittstelle initialisiert wird, wird SparkContext als sc und SQLContext als sqlContext initialisiert. Aber ich brauche HiveContext, da ich eine Funktion

3Hitze

2Antwort

Erstellen einer Datenbank in Spark SQL

Wie erstelle ich eine Datenbank oder mehrere Datenbanken in SparkSQL. Ich führe die SQL von spark-sql CLI aus. Die Abfrage wie in Hive create database sample_db funktioniert hier nicht. Ich habe Hadoo

1Hitze

1Antwort

Individuelle Verarbeitung auf Spalte in Apache Spark (Java)

ich ein JSON-Dokument in Spark-geladen, grob, es sieht aus wie: df = df.withColumn("desc", df.col("fields.type_description")); alles in Ordnung: root |-- datasetid: string (nullable = true) |-- fi

1Hitze

2Antwort

Wie CSV-Dateien direkt in Spark DataFrames ohne Verwendung von Databricks csv api lesen?

Wie CSV-Dateien direkt in Spark DataFrames ohne Verwendung von Databricks csv api lesen? Ich weiß, es gibt Databricks csv api, aber ich kann es nicht verwenden .. Ich weiß, es gibt Fall Klasse zu verw

8Hitze

2Antwort

Explode in PySpark

Ich möchte von einem DataFrame, der Listen von Wörtern enthält, in einen DataFrame mit jedem Wort in einer eigenen Zeile transformieren. Wie explodiere ich für eine Spalte in einem DataFrame? Hier ist

0Hitze

1Antwort

raise Valueerror (Artikel), wenn sie versuchen Tabelle anzuzeigen in SparkSQL

Ich habe den folgenden Code PySpark und SparkSQL mit, wo ich einen Datenrahmen zu schaffen, ich versuche, es als eine Tabelle speichern und zeigen dann die Tabelle: schema = StructType([StructField("i