Ausführen von Jobs über Spark Job Server

Question

Ich habe einen 3-Knoten-Hadoop-Cluster mit HA für Nameode und ResourceManager eingerichtet. Ich habe auch Spark Job Server in einem der NameNode-Rechner installiert.

Ich habe laufende Job-Server-Test-Beispiele wie WordCount Beispiel und LongPi Job getestet und es funktioniert einwandfrei ohne Probleme. Ich bin auch in der Lage, den curl-Befehl vom entfernten Host aus zu geben, um das Ergebnis über Spark Job Server auszulesen.

Aber, wenn ich "spark-Beispiele-1.6.0-hadoop2.6.0.jar" in funken Job-server/Gläser laden und versuchte SparkPi Job es fehlschlägt,

[hduser@ptfhadoop02v lib]$ curl -d "" 'ptfhadoop01v:8090/jobs?appName=SparkPi&classPath=org.apache.spark.examples.SparkPi' 
{ 
    "status": "ERROR", 
    "result": { 
    "message": "Ask timed out on [Actor[akka://JobServer/user/context-supervisor/ece2be39-org.apache.spark.examples.SparkPi#-630965857]] after [10000 ms]", 
    "errorClass": "akka.pattern.AskTimeoutException", 
    "stack":["akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp(AskSupport.scala:334)", "akka.actor.Scheduler$$anon$7.run(Scheduler.scala:117)", "scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute(Future.scala:694)", "scala.concurrent.Future$InternalCallbackExecutor$.execute(Future.scala:691)", "akka.actor.LightArrayRevolverScheduler$TaskHolder.executeTask(Scheduler.scala:467)", "akka.actor.LightArrayRevolverScheduler$$anon$8.executeBucket$1(Scheduler.scala:419)", "akka.actor.LightArrayRevolverScheduler$$anon$8.nextTick(Scheduler.scala:423)", "akka.actor.LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)", "java.lang.Thread.run(Thread.java:745)"] 
    } 

ich auch zu laufen versucht, manuell SparkPi.scala Job unter/usr/local/hadoop/Spark-Jobserver/Job-Server-Tests/src/spark.jobserver und bauen Sie das Paket mit SBT, aber es wirft den gleichen Fehler aus.

Versionsinformationen

[hduser@ptfhadoop01v spark.jobserver]$ sbt sbtVersion 
[info] Set current project to spark-jobserver (in build file:/usr/local/hadoop/spark-jobserver/job-server-tests/src/spark.jobserver/) 
[info] 0.13.11 

Spark Version - spark-1.6.0 
Scala Version - 2.10.4 

Jeder Vorschlag, wie diese Fehler loszuwerden und die Ausgabe von den Funken Beispiele JAR-Datei

Answer 1

package spark.jobserver 

import com.typesafe.config.{Config, ConfigFactory} 
import org.apache.spark._ 
import org.apache.spark.SparkContext._ 
import scala.math.random 

/** Computes an approximation to pi */ 
object SparkPi extends SparkJob { 
    def main(args: Array[String]) { 
    val conf = new SparkConf().setMaster("local[4]").setAppName("SparkPi") 
    val sc = new SparkContext(conf) 
    val config = ConfigFactory.parseString("") 
    val results = runJob(sc, config) 
    println("Pi is roughly " + results) 
} 

    override def validate(sc: SparkContext, config: Config):SparkJobValidation = { 
SparkJobValid 
    } 

    override def runJob(sc: SparkContext, config: Config): Any = { 
    val slices = if (args.length > 0) args(0).toInt else 2 
    val n = math.min(100000L * slices, Int.MaxValue).toInt 
    val count = sc.parallelize(1 until n, slices).map { i => 
    val x = random * 2 - 1 
    val y = random * 2 - 1 
    if (x*x + y*y < 1) 1 else 0 
    }.reduce(_ + _) 

(4.0 * count/n) 
    } 

} 

ich es geschaffen, bekommen, um es Arbeit durch Ändern des Codes zur Erweiterung von SparkJob Dank für die Klarstellung