Ich habe ein Funken-Cluster mit 10 Knoten, und ich bin immer diese Ausnahme nach dem Spark-Kontext zum ersten Mal mit:Intermittent Timeout Exception mit Funken
14/11/20 11:15:13 ERROR UserGroupInformation: PriviledgedActionException as:iuberdata (auth:SIMPLE) cause:java.util.concurrent.TimeoutException: Futures timed out after [120 seconds]
Exception in thread "main" java.lang.reflect.UndeclaredThrowableException: Unknown exception in doAs
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1421)
at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:52)
at org.apache.spark.executor.CoarseGrainedExecutorBackend$.run(CoarseGrainedExecutorBackend.scala:113)
at org.apache.spark.executor.CoarseGrainedExecutorBackend$.main(CoarseGrainedExecutorBackend.scala:156)
at org.apache.spark.executor.CoarseGrainedExecutorBackend.main(CoarseGrainedExecutorBackend.scala)
Caused by: java.security.PrivilegedActionException: java.util.concurrent.TimeoutException: Futures timed out after [120 seconds]
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
... 4 more
Diese guy ein ähnliches Problem gehabt haben, aber Ich habe seine Lösung schon versucht und habe nicht funktioniert.
Die gleiche Ausnahme passiert auch here aber das Problem ist nicht die gleichen hier drin, wie ich Spark-Version 1.1.0 sowohl in Master oder Slave und in Client verwenden.
Ich habe versucht, das Timeout auf 120s zu erhöhen, aber es löst das Problem immer noch nicht.
Ich bin die Dloyling der Umgebung durch Skripte und ich benutze die context.addJar, um meinen Code in den Klassenpfad einzuschließen. Dieses Problem ist intermittierend, und ich habe keine Ahnung, wie man verfolgt, warum es passiert. Wer hat dieses Problem bei der Konfiguration eines Funkenclusters gelöst? Wie kann man es lösen?
Da dies Top-Antwort in Google ist, für zukünftige Referenz, RPC-Timeout kann ohne Firewall/Netzwerkkonfiguration auftreten, wenn Ihr Auftrag für konfigurierte Zeitraum, der 120 Sekunden in Spark 2.0 ist. Ich habe dieses Problem jetzt und suche nach einer anderen Lösung als die Timeout-Zeit zu erhöhen. – halil