apache-spark

2Hitze

1Antwort

Lese lokale Parkett Dateien in Spark-2.0

In Funken 1.6.2 Ich bin in der Lage lokale Parkett-Dateien zu lesen, sehr einfach, indem Sie: SQLContext sqlContext = new SQLContext(new SparkContext("local[*]", "Java Spark SQL Example")); DataFrame

2Hitze

1Antwort

Wie erstellt Spark Datenrahmen mit gefilterten Datensätzen aus MongoDB?

Meine Anwendung wurde mit MongoDB als Plattform erstellt. Eine Sammlung in DB hat ein riesiges Datenvolumen und hat sich für apache spark entschieden, um analytische Daten durch Berechnung zu erhalten

1Hitze

1Antwort

Apache Spark-Implementierung

Ich habe viel versucht, die beste Lösung zu Apache Funke in meiner Web-Anwendung in Java mit Struts2 Framework zu implementieren. Ich habe wenige Maschinen, um es für Fahrer und Arbeiter zu verwenden.

3Hitze

1Antwort

SparkR verschmelzen ohne Erstellen doppelter Spalten

ich diese Frage zu schaffen entschieden, weil the answer provided to a very similar Problem nicht für mein Szenario funktioniert: ich diese beiden SparkR Datenrahmen df1 col1 col2 1 11 2 22 3

5Hitze

1Antwort

Spark - Group von HAVING mit Datenrahmen-Syntax?

Wie lautet die Syntax für die Verwendung einer groupby-hading in Spark ohne sql/hiveContext? Ich weiß, was ich tun kann DataFrame df = some_df df.registreTempTable("df"); df1 = sqlContext.sql("SELE

1Hitze

2Antwort

Hbase Upsert mit Spark

Ich habe Spark-Streaming-Job und in diesem einige bin Aggregation, jetzt möchte ich diese Datensätze in HBase einfügen, aber es ist nicht typisch einfügen Ich möchte UPSERT tun, wenn für Zeilenschlüss

0Hitze

1Antwort

Wie kann ich einen Knoten als Datenknoten in mehreren Hadoop-Clustern verwenden?

Ich möchte einen Computer als Datenknoten in zwei verschiedenen Hadoop-Clustern verwenden. Ich habe versucht, die Ports zu ändern, aber das hat nicht funktioniert. Bitte sagen Sie mir, ob Port-Änderun

1Hitze

1Antwort

Py4JJavaError java.lang.NullPointerException org.apache.spark.sql.DataFrameWriter.jdbc

Ich habe diesen Fehler, wenn ich versuchte, ein Spark-Datenframe zu Postgres DB zu schreiben. Ich bin mit einem lokalen Cluster und der Code ist wie folgt: from pyspark import SparkContext from pyspa

0Hitze

1Antwort

Spark Fix Task-Nummer für Funken Sql-Jobs

Ich sehe, dass Apache Spark plant Reihe von Stufen mit einer festen 200 Aufgaben beteiligt. Da dies bei einer Reihe verschiedener Jobs immer wieder passiert, vermute ich, dass dies irgendwie mit einer

3Hitze

1Antwort

So speichern Sie org.apache.spark.mllib.linalg.Vector im Datenframe zu Cassandra

Ich habe eine Anforderung zum Speichern von Datenrahmen, die org.apache.spark.mllib.linalg.Vector in einer der Spalte enthält. Beim Erstellen der Tabelle in Cassandra aus dem Datenframe wirft es Fehle