Java-Anforderungen in Apache Spark

Question

Ich versuche, Apache Spark auf einem Mac zu erstellen. Da ich Macports benutze, ist die Homebrew-Option nicht möglich. So manuell ich die richtige Version von Java und Maven installiert und erstellt die richtigen Pfade:

Sankha-desktop:spark-1.6.1 user$ mvn -version 
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00) 
Maven home: /opt/local/share/java/maven33 
Java version: 1.7.0_79, vendor: Oracle Corporation 
Java home: 
    /Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home/jre 
Default locale: en_US, platform encoding: UTF-8 
OS name: "mac os x", version: "10.11.3", arch: "x86_64", family: "mac" 

Jetzt, wenn ich versuche Funken zu installieren, erhalte ich folgende Fehlermeldung:

Sankha-desktop:spark-1.6.1 user$ build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package 
Using `mvn` from path: /opt/local/share/java/maven33/bin/mvn 
[INFO] Scanning for projects... 
[INFO] ------------------------------------------------------------------------ 
[INFO] Reactor Build Order: 
[INFO] 

~~~~~~~ some more stuff ~~~~~~~ 

[info] Compiling 3 Java sources to /Users/user/Documents/installers/spark/spark-1.6.1/tags/target/scala-2.10/classes... 
[error] javac: invalid source release: 1.7 
[error] Usage: javac <options> <source files> 
[error] use -help for a list of possible options 
[error] Compile failed at Apr 11, 2016 6:14:07 AM [0.024s] 
[INFO] ------------------------------------------------------------------------ 
[INFO] Reactor Summary: 
[INFO] 
[INFO] Spark Project Parent POM ........................... SUCCESS [ 7.176 s] 
[INFO] Spark Project Test Tags ............................ FAILURE [ 1.027 s] 
[INFO] Spark Project Launcher ............................. SKIPPED 
[INFO] Spark Project Networking ........................... SKIPPED 

Anscheinend meine Java-Version ist falsch? Ich habe explizit Version 1.7 installiert und damit verbunden. Ich habe auch die neueste Version 1.8, aber ich habe das bereits aus dem JAVA_PATH entfernt.

Wer weiß, was vor sich geht?

Answer 1

Ich denke, das ist mit dem Zink-Compiler verbunden.

Ich konnte es kompilieren, indem Sie den Zinc-Compiler in der pom.xml-Datei deaktivieren. Ändern Sie dies:

<useZincServer>true</useZincServer> 

dazu:

<useZincServer>false</useZincServer> 

Meine Fehlermeldung ein wenig anders war als die Zink-Compiler wurde für javac in meinem JRE-Verzeichnis. Ich habe versucht, herauszufinden, wie man ein anderes java_home für Zinc einstellt, konnte es aber nicht herausfinden (es gibt ein Argument -java-home, und ich habe versucht, es dem Pom hinzuzufügen, aber es schien kein bewirken).

Hier ist die Spark-Dokumentation in Bezug auf Zink:

http://spark.apache.org/docs/latest/building-spark.html#speeding-up-compilation-with-zinc

Hier ist die Zink-GitHub Seite:

https://github.com/typesafehub/zinc

UPDATE: Dies ist ein Problem in dem scala-maven- sein kann plugin - https://github.com/davidB/scala-maven-plugin/issues/173