hadoop-partitioning

0Hitze

1Antwort

Aggregierte Abfragen schlagen fehl, wenn das Partitionsverzeichnis nicht existiert

Ich verwende Hive v1.2.1 mit Tez. Ich habe eine externe partitionierte Tabelle. Die Partitionen sind stündlich und haben die Form p = yyyy_mm_dd_hh. Die Situation ist, dass diese Partitionsverzeichnis

1Hitze

2Antwort

DELETE FROM Tabellenname Cloudera Impala

Ich bin neu auf Impala, und ich versuche zu verstehen, wie Datensätze aus einer Tabelle zu löschen ... Ich habe versucht, nach Löschbefehlen suchen, aber nicht ganz verständlich Anweisungen finden ...

0Hitze

1Antwort

Welche Vorteile hat es, die Partitionsgröße zu erhöhen und die Anzahl der Partitionen im Funke zu verringern?

Ich habe 1 Master und 3 Slaves (4 Kerne) Standardmäßig ist die minimale Partitionsgröße in meinem Spark Cluster 32MB und meine Dateigröße ist 41 Gb. So versuche ich die Anzahl der Partitionen durch Än

3Hitze

1Antwort

Partition Lage RDD/Dataframe

Ich habe eine (ziemlich groß, denken 10e7 Zeilen) Datenrahmen, aus dem i-Elemente filtern basierend auf einer Eigenschaft val res = data.filter(data(FieldNames.myValue) === 2).select(pk.name, FieldNam

2Hitze

2Antwort

Kann Partitionsspeicherort in der Struktur nicht ändern

Ich versuche, den Partitionsspeicherort meiner externen Hive-Tabelle zu ändern. Befehl, den ich versuche laufen: ALTER TALBE sl_uploads PARTITION (hivetimestamp='2016-07-26 15:00:00') SET LOCATION '/d

1Hitze

1Antwort

Wie CSV-Datensatz mit Kite-Dataset partitionierten Schema ordnungsgemäß importieren?

Ich bin mit der öffentlich verfügbaren csv-Datensatz von Movielens Arbeits ich einen partitionierten Datensatz für den ratings.csv erstellt habe: kite-dataset create ratings --schema rating.avsc --par

0Hitze

1Antwort

Distributing Hadoop Streaming Ausgabedateien auf Basis von Keys

ich eine Mapperfunktion geschrieben haben, die die XML und gibt das Ergebnis als Spalten separted durch „\ t“, wie unten dargestellt Name Age ABC 23 XYZ 24 ERT 25 Mit dem Hadoop Streaming-Code pa

11Hitze

3Antwort

Sekundäre Sortierung in Hadoop

Ich arbeite an einem Hadoop-Projekt und nach vielen Besuchen in verschiedenen Blogs und Lesen der Dokumentation, erkannte ich, dass ich Secondry-Sortierfunktion von Hadoop-Framework zur Verfügung gest

-2Hitze

1Antwort

Ich suche nach HDFS-Fehlern. Dazu brauche ich HDFS-Logs. Wo kann ich die Protokolle herunterladen?

2Hitze

1Antwort

Hadoop fs -du-h Sortieranlage nach Größe für M, G, T, P, E, Z, Y

I diesen Befehl leite - sudo -u hdfs hadoop fs -du -h /user | sort -nr und der Ausgang wird nicht in Bezug auf Auftritte sortiert , Terabytes, gb ich diesen Befehl gefunden - hdfs dfs -du -s /foo/ba