Spark-Shell ERROR YarnScheduler: Verlorener Executor

Innerhalb der Spark-Shell bekomme ich die folgende Fehlermeldung zwischen meinem Kommentar einreichen. Worum geht es möglicherweise?Spark-Shell ERROR YarnScheduler: Verlorener Executor

scala> 16.04.12 00.49.14 ERROR YarnScheduler: Verlorene Testamentsvollstrecker 2 auf XXXXXXXX: Remote-RPC-Client distanzierte 16.04.12 00.49.14 ERROR YarnScheduler: Testamentsvollstrecker Verlorene 5 auf XXXXXXXX: remote RPC-Client distanzierte 16.04.12 12.49.16 ERROR YarnScheduler: verlorene Testamentsvollstrecker 4 auf XXXXXXXX: Remote-RPC-Client

distanzierte

Quelle

2016-04-14 Ruxi Zhang

fixiert werden zu beantworten, aber erstes, was ich in aussehen würde, ist die Speicher-Overhead Eigenschaften von Spark zu Garn gegeben – eliasah

Ich bin damit einverstanden, und ich werde auf jeden Fall Überprüfen Sie die Speicher-Overhead-Eigenschaften, die vom Garnprotokoll angegeben werden. –

Wenn Sie dynamische Ressourcenzuordnung konfiguriert haben, zeigen diese Fehler auf, wenn nicht benötigte Ressourcen freigegeben werden Garn. FEHLER-Level scheint mir irreführend, vielleicht wäre INFO angemessener. http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

bearbeiten: Dies soll Dies ist zu breit Spark 1.6 https://issues.apache.org/jira/browse/SPARK-4134

Quelle

2016-04-16 16:24:33

Danke, ich denke das macht total Sinn. –

Spark-Shell ERROR YarnScheduler: Verlorener Executor

Antwort

Verwandte Themen