apache-spark

10Hitze

2Antwort

Ich versuche, eine sehr einfache scala Standalone-Anwendung mit dem Mllib zu bauen, aber ich bekomme die folgende Fehlermeldung beim Versuch, das Programm zu bulid: Object Mllib is not a member of pac

6Hitze

1Antwort

Kann ich Hadoop mit AWS4-HMAC-SHA256 verwenden?

Mein neu erstellter Bucket verwendet AWS Signature Version 4. Ich versuche es mit Hadoop zu verwenden und die Nachricht bekommen: Exception in thread "main" org.apache.hadoop.fs.s3.S3Exception: org.j

20Hitze

2Antwort

Spark RDDs - wie funktionieren sie?

Ich habe ein kleines Scala-Programm, das auf einem einzelnen Knoten läuft. Allerdings skaliere ich es so, dass es auf mehreren Knoten ausgeführt wird. Dies ist mein erster solcher Versuch. Ich versuch

25Hitze

9Antwort

Kann keine Datei von HDFS mit Spark lesen

Ich habe Cloudera CDH 5 mit Cloudera Manager installiert. kann ich hadoop fs -ls /input/war-and-peace.txt hadoop fs -cat /input/war-and-peace.txt der obige Befehl druckt die gesamte txt-Datei auf d

12Hitze

1Antwort

Wie können alle Spark-Knoten im Cluster vollständig genutzt werden?

Ich habe einen 10-Knoten-Cluster mit dem ec2-Skript im Standalone-Modus für Spark gestartet. Ich greife auf Daten in s3-Buckets innerhalb der PySpark-Shell zu, aber wenn ich Transformationen auf der R

7Hitze

2Antwort

Spark Streaming GroupByKey und updateStateByKey Implementierung

Ich versuche Stateful Spark-Streaming-Berechnungen über (gefälschte) Apache-Webserver-Logs von Kafka lesen. Das Ziel ist es, den Web-Verkehr ähnlich wie this blog post zu "sessionize" Der einzige Unte

10Hitze

2Antwort

So verarbeiten Sie mehrzeilige Eingangsdatensätze in Spark

Ich habe jeden Datensatz über mehrere Zeilen in der Eingabedatei verteilt (Sehr große Datei). Ex: Id: 2 ASIN: 073870 title: Test tile for this product group: Book salesrank: 168501

8Hitze

1Antwort

Ausführen von Spark-Submit mit --master yarn-cluster: Problem mit Spark-Assembly

Ich führe Spark 1.1.0, HDP 2.1, auf einem kerberisierten Cluster. Ich kann Spark-Submit erfolgreich ausführen, indem ich --master yarn-client verwende und die Ergebnisse korrekt in HDFS geschrieben we

24Hitze

5Antwort

Warum Spark-Submit und Spark-Shell fehlschlagen mit "Konnte Spark-Assembly JAR nicht finden. Sie müssen Spark erstellen, bevor Sie dieses Programm ausführen."?

Ich habe versucht, Spark-submit zu starten, und ich bekomme "Konnte Spark-Baugruppe JAR nicht finden. Sie müssen Spark vor dem Ausführen dieses Programms erstellen." Wenn ich versuche, Spark-Shell aus

14Hitze

3Antwort

Wie werden Einstellungen für das implizite ALS-Feedback in Collaborative Filtering festgelegt?

Ich versuche Spark MLib ALS mit implizitem Feedback für kollaboratives Filtern zu verwenden. Eingabedaten haben nur zwei Felder userId und productId. Ich habe keine Produktbewertungen, nur Information