Hive Job ist Verarbeitung wird nach der Verarbeitung irgendwann gestoppt

Question

Ich bin Betreib Bienenstock auf einer eigenständigen Maschine. Hadoop läuft im pseudo-verteilten Modus. Ich führe Hive-Abfrage, die zwei Tabellen verbindet (eine Tabelle hat 7M und eine andere hat 51M Datensätze und jeder enthält 8 Spalten). Nach einer gewissen Zeit erreicht Mapper den Wert Null und druckt dann weiterhin gelegentlich Null. Können Sie mir bitte helfen, dies zu lösen?

Als Referenz finden Sie die Protokolle unten.

2016-04-12 22:52:58,469 Stage-1 map = 71%, reduce = 1% 
2016-04-12 22:53:00,517 Stage-1 map = 72%, reduce = 1% 
2016-04-12 22:53:02,560 Stage-1 map = 73%, reduce = 1% 
2016-04-12 22:53:09,740 Stage-1 map = 74%, reduce = 1% 
2016-04-12 22:53:11,796 Stage-1 map = 75%, reduce = 1% 
2016-04-12 22:53:13,842 Stage-1 map = 76%, reduce = 1% 
2016-04-12 22:53:21,037 Stage-1 map = 77%, reduce = 1% 
2016-04-12 22:53:24,114 Stage-1 map = 78%, reduce = 1% 
2016-04-12 22:53:26,156 Stage-1 map = 79%, reduce = 1% 
2016-04-12 22:53:35,433 Stage-1 map = 81%, reduce = 1% 
2016-04-12 22:53:38,507 Stage-1 map = 82%, reduce = 1% 
2016-04-12 22:53:45,725 Stage-1 map = 82%, reduce = 0% 
2016-04-12 22:53:49,925 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:54:50,236 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:55:50,546 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:56:50,863 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:57:51,128 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:58:51,352 Stage-1 map = 0%, reduce = 0% 
2016-04-12 22:59:51,612 Stage-1 map = 0%, reduce = 0% 
2016-04-12 23:00:51,886 Stage-1 map = 0%, reduce = 0% 
2016-04-12 23:01:52,131 Stage-1 map = 0%, reduce = 0% 

Ich verifizierte den Status im Tracker. Der Status zeigte zwei Versuche und ein Versuch war mit der Diagnosemeldung wie folgt fehlgeschlagen.

AM Container for appattempt_1460481465127_0001_000001 exited with exitCode: -100 
For more detailed output, check application tracking page:http://localhost:8088/cluster/app/application_1460481465127_0001Then, click on links to logs of each attempt. 
Diagnostics: Container released on a *lost* nodeFailing this attempt 

Vielen Dank im Voraus.

Answer 1

Das Problem scheint durch Heap-Speicherplatz auf der Kartenseite verursacht werden.
Probieren Sie die Karte Aufgabe Heap-Größe zu erhöhen, indem Sie folgendermaßen vorgehen:

in mapred-site.xml (Versuchen Sie, die folgenden Werte stimmen mit Ihren Anwendungsfall anzupassen):

<!-- for mappers --> 
<property> 
    <name>mapreduce.map.memory.mb</name> 
    <value>4096</value> 
</property> 
<!-- For reduces --> 
<property> 
    <name>mapreduce.reduce.memory.mb</name> 
    <value>8192</value> 
</property>