Eine Datei zweimal mit verschiedenen Parametern lesen

Question

Ich weiß, dass Sie zwei Mapper der gleichen Datei erzeugen können, wenn Sie die addinputpath -Funktion zweimal mit dem gleichen Pfad eingeben, aber ich möchte, dass die Datei jedes Mal etwas anders verarbeitet wird.

Insbesondere möchte ich jedes Mal verschiedene Parameter verwenden, die ich durch die Job-Klasse (mit configuration.set/get) übergeben habe. Wenn die Dateien unterschiedlich sind, erhalte ich den Pfad/Namen der Datei, indem ich die context/inputsplit-Klassen verwende, um das zu erreichen, aber jetzt, da sie dieselben sind, kann ich sie nicht unterscheiden. Irgendwelche Gedanken?

Jeder Mapper ist eine andere Maptask, aber ich habe keine Ahnung, ob ich irgendwelche Informationen über die Maptasks verwenden kann. Ich kenne auch nicht die Reihenfolge, in der das Framework Eingaben in maptasks einteilt - es könnte nützlich sein.

Alternativ könnte ich die Datei kopieren (unter einem anderen Namen), aber das wäre eine Verschwendung von Ressourcen

Answer 1

Ich musste die Inputsplit und Inputformat-Klassen (Fileinputformat und Filesplit für die Bequemlichkeit) überschreiben.

Ich hinzugefügt und extra Feld in der Filesplit zu unterscheiden, welche Zeit eine Teilung gelesen wird. Es funktioniert gut

Answer 2

ich Sie empfehlen, diese Logik in den Mapper zu setzen. Es wird effizienter sein, als wenn Hadoop dieselbe Datei zweimal scannt und verarbeitet.

So Pseudo-Code wie das sein würde:

map(key, value, context) { 

    //do something with this key/value 
    ... 
    //emit output 1 
    context.write(...) 

    //do something else with this the same key/value 
    ... 
    //emit output 2 
    context.write(...) 
} 

Wenn Sie Ihren Ausgang 1 und 2 müssen verschiedene Reduzierungen abgefertigt werden, müssen Sie Ihre Ausgabeschlüssel Handwerk zu tun.