Wie grep in Dataset auf hdfs mit Hadoop-Streaming

Question

Ich habe einen großen Datensatz in hdfs liegen und ich möchte einige Begriffe aus ihm grep. Was ist der Haddop-Streaming-Befehl für dasselbe? (Siehe I don t PIG verwenden möchten)

Answer 1

Sie können diesen Befehl verwenden: -

hadoop jar {path_to_jar} /hadoop-streaming.jar -Dmapreduce.job.queuename = default -Dstream. non.zero.exit.is.failure = false -Dmap.job.name = "grepper" -Dmap.reduce.tasks = 1 -input/tmp/{eingabepfad} -output/tmp/{ausgabepfad} -mapper 'grep searchTerm '