spark-csv

1Hitze

1Antwort

ich eine CSV-Datei Ich versuche, in Funken zu laden sparkcsv verwenden. Es gibt ein Feld, das Datum Typwert im Format hat „yyyy-mm-dd hh: mm: ss“ (beispielsweise „2014.09.18 00:00:00“) und ich wünsche

1Hitze

1Antwort

PySpark: Wie zwei Datenrahmen zu vergleichen

Ich habe zwei Datenframes, die ich aus zwei CSV-Dateien geladen habe. Beispiele: old +--------+---------+----------+ |HOTEL ID|GB |US | +--------+---------+----------+ | 80341| 0.78| 0.7| | 2

0Hitze

1Antwort

Ausnahme beim Lesen csv in Funken

Ich bin sehr neu zu funken. Ich habe eine CSV-Datei mit nur 2 Spalten. Die CSV-Datei ist groß (30 Millionen Zeilen). Ich versuche, spark-csv_2.10:1.2.0 zu verwenden, um es auf Datenrahmen zu laden. Ic

0Hitze

1Antwort

DataFrame-Objekt zeigt keine Daten an

Ich habe versucht, ein Dataframe-Objekt auf einer hdfs-Datei mit Funken csv lib wie gezeigt in this tutorial zu erstellen. Aber als ich versuchte, die Anzahl der Datenrahmen-Objekt zu erhalten, es zei

0Hitze

1Antwort

Apache Zeppelin schlägt beim Lesen csv mit pyspark

Ich verwende Zeppelin-Sandbox 0.5.6 mit Spark 1.6.1 auf Amazon EMR. Ich lese csv Datei befindet sich auf s3. Das Problem ist, dass manchmal Ich bekomme Fehler beim Lesen der Datei. Ich muss den Interp

3Hitze

2Antwort

Wie schätzt man die reale Größe des Datenrahmens in pyspark ab?

Wie wird eine Datenrahmengröße ermittelt? Gerade jetzt schätze ich die reale Größe eines Datenrahmens wie folgt: headers_size = key for key in df.first().asDict() rows_size = df.map(lambda row: len(v