Ausführen von Spark unter Windows Fehler 5 (Zugriff verweigert), auch wenn als Admin ausgeführt

Question

Ich fange mit Spark so nicht wirklich sicher, wo mein Problem ist und suche einen hilfreichen Hinweis hier. Ich versuche, Spark (pyspark) auf einem Windows 7-Rechner als Admin auszuführen, aber es scheint nicht zu funktionieren (ich bekomme immer noch den WindowsError 5). Siehe Bild unten:

habe ich die Datei heruntergeladen (Release 1.2.0 mit vorgefertigten für Hadoop 2.4 oder höher), entpackt es über die Kommandozeile mit tar und setze IPython = 1 vor ist Aufruf \ pyspark. Wenn ich es anrufe, läuft pyspark, aber ich bekomme den Fehler unten nach Bild.

Wenn ich versuche, bestimmte SparkContext-Objekte aufzurufen, bekomme ich den Namen 'sc' nicht definiert.

Ich habe Python 2.7.8 installiert, Spyder IDE und bin in einer Unternehmensnetzwerkumgebung.

Hat jemand eine Ahnung, was hier vor sich gehen könnte? Ich habe ein paar Fragen wie Why am i getting WindowsError: [Error 5] Access is denied? nachgeschlagen, konnte aber keinen Hinweis finden.

Answer 1

Kurz:

ich hatte, was das gleiche Problem sein sollte. Für mich war es, dass die *.cmd Dateien im Verzeichnis $spark/bin nicht als ausführbar markiert waren; bitte versuchen Sie es durch, um zu bestätigen:

• rechts auf klicken pyspark2.cmd und:
• Eigenschaften/Sicherheitsvorsprung dann untersuchen ‚Read & ausführen‘

ich die Problemumgehung auf einer anderen Website gefunden, die hadoop-winutils-2.6.0.zip empfohlen Download (Entschuldigung, habe keinen Link). Hier ist ein Beispiel für die cmd zu verwenden (nach dem richtigen Verzeichnis bewegen):

t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 * 

ich brauchte die chmod 777 cmd laufen auch die /tmp/hive beschreibbar zu machen. viel Glück!

(... neu hier - sorry für die schlechte Formatierung)
(Update: Matt Dank für Fragen Formatierung Festsetzung!)

Ursache: das Programm tar i über tar -zxf <file.tgz> für Fenster nicht Wenden Sie die richtigen Attribute für die extrahierten Dateien an. In diesem Fall wurden die ausführbaren Dateien nicht richtig gesetzt. Ja, vielleicht sollte ich meine Version von Cygwin aktualisieren.