apache-spark

6Hitze

1Antwort

Scala Fall Klasse ignoriert Import in der Spark-Shell

Ich hoffe, es gibt eine offensichtliche Antwort auf diese Frage! Ich habe gerade auf Spark v2.0 aktualisiert und habe ein seltsames Problem mit der Spark-Shell (Scala 2.11 Build). Wenn ich die folgend

1Hitze

1Antwort

Konvertieren von Python zu Scala in Spark ML?

Die Frage ist, über Logistic regression with spark ml (data frames) Wenn ich den Code Python zu Scala Python ändern wollen: [stage.coefficients for stage in model.stages if isinstance(stage, Logi

3Hitze

1Antwort

HiveContext liest nicht Schema einer Orcfile

Wenn ich laufen die folgenden: val df1 = sqlContext.read.format("orc").load(myPath) df1.columns.map(m => println(m)) Die Säulen werden als ‚_col0‘ gedruckt ‚_col1‘, ‚_col2‘ usw. In Bezug auf ihre w

0Hitze

2Antwort

Sparksql: Json-Array, das die Reihenfolge der Elemente verwaltet

Ich habe einige JSON-Daten, bei denen eines der Elemente ein Array ist. Hier ist ein Beispieldatensatz: { "name": "Michael", "Schulen": [{ "sname": "Stanford", "Jahr": 2010} { "sname": "berkeley", "Ja

0Hitze

1Antwort

Lesen von Daten aus HDFS auf einem Cluster

Ich versuche, Daten von HDFS auf AWS EC2-Cluster mit Jupiter Notebook zu lesen. Es hat 7 Knoten. Ich benutze HDP 2.4 und mein Code ist unten. Die Tabelle hat Millionen von Zeilen, aber der Code gibt k

0Hitze

1Antwort

Funken Finden Sie doppelten Datensätze für ein Feld in RDD

Ich habe Datensatz wie 10, "Name", 2016, "Country" 11, "Name1", 2016, "country1" 10, "Name", 2016, "Country" 10, "Name", 2016, "Country" 12, "Name2", 2017, "country2" Mein Problem Aussage ist, ich hab

1Hitze

1Antwort

In Apache Spark 2.0.0, ist es möglich, eine Abfrage von einer externen Datenbank abzurufen (anstatt die gesamte Tabelle zu greifen)?

Mit pyspark: from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .appName("spark play")\ .getOrCreate() df = spark.read\ .format("jdbc")\ .option("url",

0Hitze

1Antwort

spark: Zeile zu Element

Neu zu Spark. Ich möchte eine Transformation in der "WordList" -Spalte eines Funken DataFrame, df, des Typs org.apache.spark.sql.DataFrame = [id: string, wordList: array<string>] machen. Ich benutze D

5Hitze

4Antwort

Gibt es eine Möglichkeit, einen Limit-Parameter an functions.collect_set in Spark zu übergeben?

Ich habe es mit einer Zahlenspalte in einem großen Spark DataFrame zu tun, und ich möchte eine neue Spalte erstellen, die eine aggregierte Liste von eindeutigen Zahlen speichert, die in dieser Spalte

2Hitze

1Antwort

Wie zwei JavaPairRDDs mit benutzerdefinierter Logik zu kombinieren

Ich habe zwei JavaPairRDDs. JavaPairRDD<List<String>, CustomObject> originalData = ...; JavaPairRDD<String, CustomField> newData = ...; In diesem Fall ist CustomField ein Feld in CustomObject. Mein