orc

0Hitze

1Antwort

Vora Unterstützung für ORC-Dateien - char() Typ?

Gibt es einen Grund, warum der ORC-Leser von Vora den Typ char() nicht unterstützt? Hier ist, was ich habe, wenn eine Datei eines Hive ORC-basierten Tabelle zu lesen versuchen, enthält char (n) Felder

1Hitze

2Antwort

Spark Datenrahmen SaveAsTable vs Speichern

Ich benutze Spark 1.6.1 und ich versuche, einen Datenrahmen in ein Ork-Format zu speichern. Das Problem, mit dem ich konfrontiert bin, ist, dass die Speichermethode sehr langsam ist, und es dauert etw

8Hitze

3Antwort

Aggregieren mehrerer Spalten mit benutzerdefinierten Funktion in Spark

Ich frage mich, ob es eine Möglichkeit gibt, eine benutzerdefinierte Aggregationsfunktion für Spark-Datenrahmen über mehrere Spalten anzugeben. Ich habe eine Tabelle wie folgt von der Art (Name, Artik

3Hitze

1Antwort

HiveContext liest nicht Schema einer Orcfile

Wenn ich laufen die folgenden: val df1 = sqlContext.read.format("orc").load(myPath) df1.columns.map(m => println(m)) Die Säulen werden als ‚_col0‘ gedruckt ‚_col1‘, ‚_col2‘ usw. In Bezug auf ihre w

0Hitze

1Antwort

zum Konvertieren von Textdatei in Ork-Format mit Karte reduzieren

Ich schreibe eine Karte reduzieren Code, um eine Textdatei in ORC-Format zu konvertieren.Ich habe ORCNewOutputFormat verwendet, die in hive-exec-0.13.0 Jar vorhanden ist.Ich arbeite in ein 15-Knoten-C

2Hitze

3Antwort

an ORC-Datei anhängen

Ich bin neu bei Big Data und verwandten Technologien, daher bin ich nicht sicher, ob wir Daten an die vorhandene ORC-Datei anhängen können. Ich schreibe die ORC-Datei mit Java API und wenn ich den Wri

1Hitze

1Antwort

Partition und Bucket ORC Tabellen

Ich verstehe, dass wenn Sie ORC-Tabellen erstellen, wird es die Geschwindigkeit dramatisch verbessern. Können wir es jedoch weiter verbessern, indem wir eine ORC-Tabelle partitionieren und in einen Bu

0Hitze

1Antwort

Wie in Hive

ich habe eine Text Format hive Tabelle, wie TEXT-Format partitionierten Tabelle ORC-Format Tabelle kopieren: i create table ein Ork-Format CREATE EXTERNAL TABLE op_log ( time string, debug string,app_

0Hitze

3Antwort

ORC-Dateiformat mit Impala

Kann ORC-Dateiformat in Impala verwendet werden? Wie man auf die ORC-Tabelle zugreifen kann, die im Bienenstockmetastore in Impala gespeichert wird. unten Dokumentation Link gefunden, aber es macht ke

1Hitze

1Antwort

Hive ORC- oder AVRO-Format mit Feldtrennzeichen

Was bedeutet es für eine Hive-Tabelle mit ORC- oder Avro-Format, das Feldtrennzeichen anzugeben? Wird die Struktur ignoriert, auch wenn sie angegeben ist? Zum Beispiel CREATE TABLE if not exists T ( C