apache-spark

7Hitze

2Antwort

Apache Spark Streaming vs Spring XD Streams

Ich bin auf der Suche nach Anwendungsfällen, in denen Apache Spark Streaming wird passend und Situationen, wo Spring XD-Streams am besten passen. Gibt es hier eine Überlappung von Technologien? Ist je

19Hitze

1Antwort

eine einfache Linie Zeichenfolge RDD in Spark-

Ich habe eine einfache Linie: line = "Hello, world" Ich mag würde es zu einer RDD konvertieren mit nur einem Element. Ich habe versucht sc.parallelize(line) Aber es bekommen: sc.parallelize(line).

9Hitze

2Antwort

Wie wird die Anzahl der Spark-Executoren festgelegt?

Wie könnte ich von Java (oder Scala) Code Anzahl der Executoren mit SparkConfig und SparkContext konfigurieren? Ich sehe ständig 2 Executoren. Sieht aus wie spark.default.parallelism funktioniert nich

5Hitze

1Antwort

Zusammenführen von mehr als 32 Dateien in Google Cloud Storage

Ich habe ein Apache Spark-Skript, das auf der Google Compute Engine ausgeführt wird und für die Ausgabe eines Google Cloud Storage sorgt. Ich habe mehr als 300 Teile-00XXX-Dateien in meinem Cloud Stor

5Hitze

2Antwort

Kompilierungsfehler mit Spark Cassandra-Anschluss und SBT

Ich versuche, den DataStax-Spark-Cassandra-Anschluss funktionsfähig zu machen. Ich habe ein neues SBT-Projekt in IntelliJ erstellt und eine einzelne Klasse hinzugefügt. Die Klasse und meine sbt-Datei

9Hitze

2Antwort

Lesen von Daten aus SQL Server mit Spark SQL

Ist es möglich, Daten von Microsoft SQL Server (und Oracle, MySQL, etc.) in eine RDD in einer Spark-Anwendung zu lesen? Oder müssen wir ein In-Memory-Set erstellen und dieses in eine RDD aufteilen?

24Hitze

4Antwort

Was sind die Spark-Transformationen, die einen Zufall verursachen?

Ich habe Schwierigkeiten, in den Spark-Dokumentationsoperationen zu finden, die eine Zufallswiedergabe verursachen und die Operation nicht. Welche verursacht in dieser Liste einen Shuffle und welche n

9Hitze

1Antwort

Spark SQL konnte das Schreiben von Parquet-Daten mit einer großen Anzahl von Shards nicht abschließen

Ich versuche, Apache Spark SQL zu verwenden, um JSL-Protokolldaten in S3 in Parquet-Dateien auch auf S3 zu schreiben. Mein Code ist im Grunde: import org.apache.spark._ val sqlContext = sql.SQLContex

5Hitze

1Antwort

Welche core-site.xml füge ich meine AWS-Zugriffsschlüssel hinzu?

Ich möchte Spark-Code auf EC2 gegen Daten in meinem S3-Bucket ausgeführt werden. Nach der Spark EC2 documentation und der Amazon S3 documentation, muss ich meine AWS_ACCESS_KEY_ID und AWS_SECRET_ACCES

8Hitze

2Antwort

EntityTooLarge Fehler, wenn eine 5G-Datei auf Amazon S3

Amazon S3 Dateigrößenbeschränkung ist das Hochladen soll 5T sein nach diesem announcement, aber ich erhalte die folgende Fehlermeldung, wenn eine Datei 5G Hochladen '/mahler%2Fparquet%2Fpageview%2Fall