Spark-Filesystemwatcher nicht unter Windows arbeiten

Question

Zwei Personen Apache Spark auf ihren Computern getestet ...

Wir heruntergeladen die Version des Spark-vorkompilierte für Hadoop 2.6, ging in den Ordner /spark-1.6.2-bin-hadoop2.6/, erstellt ein " tmp“Verzeichnis und lief:

$ bin/run-example org.apache.spark.examples.streaming.HdfsWordCount tmp 

ich beliebige Dateien content1 und content2dssdgdg zu diesem hinzugefügt "tmp" Verzeichnis.

------------------------------------------- 
Time: 1467921704000 ms 
------------------------------------------- 
(content1,1) 
(content2dssdgdg,1) 

------------------------------------------- 
Time: 1467921706000 ms 

Funken erkannt, diese Dateien mit der obigen Terminal-Ausgabe auf meinem Ubuntu 15.10 Laptop, aber nicht auf meinem Kollegen Windows 7 Enterprise Laptop.

Funktioniert der Dateisystem-Beobachter von Spark nicht unter Windows?

Answer 1

John, würde ich vorschlagen, hadoop kompilierte Binärdateien für 64 Bit Windows 7 gehostet bei https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries zu verwenden. Um diese Hadoop-Version verwenden zu können, müssen Sie die Spark-Version verwenden, die für den vom Benutzer bereitgestellten Hadoop vorkonfiguriert ist. Stellen Sie sicher, SPARK_DIST_CLASSPATH wie in https://spark.apache.org/docs/latest/hadoop-provided.html erwähnt festzulegen. Setzen Sie auch% HADOOP_HOME% \ lib \ native auf PATH. Nach der Einrichtung müssen Sie die unter https://wiki.apache.org/hadoop/Hadoop2OnWindows genannten Schritte 3.1.3.3.3.4 und 3.5 ausführen, um das lokale HDFS zu starten. Beim Ausführen von HdfsWordCount müssen Sie hdfs: /// tmp als Verzeichnispfad arg übergeben. Alles Gute.