Ich benutze Zeppelin, um einige Funken Job mit crontab zu laufen. jdk8, spark1.6.2, scala2.10 Aber in den letzten Tagen fand ich Zeppelins Funken-Interpreter fast jeden Tag einmal oder öfter abgeschaltet. Und hier ist das ProtokollZeppelin funken intterpreters wirft java.lang.StackOverflowError nach einer Weile
java.lang.StackOverflowError
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754)
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788)
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655)
at scala.reflect.internal.Types$Type.memberType(Types.scala:779)
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534)
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13)
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486)
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340)
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754)
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788)
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655)
at scala.reflect.internal.Types$Type.memberType(Types.scala:779)
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534)
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13)
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486)
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340)
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754)
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788)
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655)
at scala.reflect.internal.Types$Type.memberType(Types.scala:779)
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534)
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13)
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486)
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340)
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
........
Es war ein sehr, sehr lange log, scheint eine Schleife zu sein, ich mag dieses
export JAVA_HOME=/home/hadoop/jdk
export MASTER=spark://namenode:7077
export ZEPPELIN_PORT=10001
export SPARK_HOME=/home/hadoop/spark-1.6.2-bin-hadoop2.6
export SPARK_SUBMIT_OPTIONS="--driver-memory 2g --executor-memory 5g --driver-class-path /home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/oracle-driver.jar:/home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/spark-csv_2.10-1.3.0.jar:/home/hadoop/zeppelin-0.6.0-bin-all/lib/*:/home/hadoop/zeppelin-0.6.0-bin-all/*::/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/interpreter/spark/*::/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/lib/zeppelin-interpreter-0.6.0.jar/home/hadoop/zeppelin-0.6.0-bin-all/interpreter/spark/zeppelin-spark-0.6.0.jar"
export ZEPPELIN_MEM=-Xmx4096m
export ZEPPELIN_JAVA_OPTS="-Xmx4096m"
die env neu einstellen müssen,