sequencefile

6Hitze

1Antwort

SequenceFileInputFormat erweitern, um Dateiname + Offset einzubeziehen

Ich möchte ein benutzerdefiniertes InputFormat erstellen können, das Sequenzdateien liest, aber zusätzlich den Dateipfad und den Offset innerhalb der Datei anzeigt, in der sich der Datensatz befindet.

java hadoop mapreduce sequencefile 2013-09-05

---

1Hitze

2Antwort

SequenceFile als Text CLI mit benutzerdefinierten Klasse

Ich habe eine HDFS-Datei in SequenceFile Format. Der Schlüssel ist und der Wert ist eine benutzerdefinierte serialisierbare Klasse (sagen wir) MyCustomClass. Ich möchte diese Datei über den Befehl had

hadoop command-line-interface sequencefile 2016-07-25

---

0Hitze

1Antwort

HDFS Append an SequenceFile ist langsam

Das Anhängen an SequenceFiles scheint sehr langsam zu sein. Wir konvertieren Ordner (mit kleinen Dateien) in SequenceFiles, indem wir den Dateinamen als Schlüssel und den Inhalt als Wert verwenden. De

hadoop hdfs sequencefile 2016-05-02

---

1Hitze

1Antwort

Cached Spark RDD (gelesen von Sequence File) hat ungültige Einträge, wie kann ich das beheben?

Ich lese Hadoop Sequence Files mit Spark (v1.6.1). Nach dem Zwischenspeichern der RDD wird der Inhalt in RDD ungültig (der letzte Eintrag wurde n mal dupliziert). Hier ist mein Code-Schnipsel: import

scala hadoop apache-spark hdfs sequencefile 2016-03-23

---

7Hitze

1Antwort

mit pyspark, lesen/schreiben 2D-Bilder auf Hadoop-Dateisystem

Ich möchte in der Lage sein, Bilder auf einem hdfs-Dateisystem zu lesen/schreiben und nutzen Sie die hdfs-Lokalität. Ich habe eine Sammlung von Bildern, wobei jedes Bild von 2D-Arrays von uint16 Grund

hadoop apache-spark sequencefile pyspark 2015-02-25

---

5Hitze

1Antwort

Lesen von Hadoop SequenceFiles mit Hive

Ich habe einige MapRed-Daten aus dem Common Crawl, die ich in einem SequenceFile-Format gespeichert habe. Ich habe wiederholt versucht, diese Daten "wie besehen" mit Hive zu verwenden, so dass ich sie

hive sequencefile 2012-11-02

---