apache-spark

0Hitze

1Antwort

Immer wenn ich das Setup-Verfahren für Apache Spark Data Analytics versuche, bekomme ich diesen Fehler. In def set_hadoop_config(credentials): prefix = "fs.swift.service." + credentials['name']

0Hitze

1Antwort

RDD von LabeledPoint in DataFrame konvertieren toDF() Fehler

Ich habe ein Dataframe df, das 13 durch Komma getrennte Werte enthält. Ich möchte in df2 einen Datenrahmen bekommen, der labeledPoint enthält. Erster Wert ist Label, zwölf weitere sind Features. Ich b

0Hitze

1Antwort

So aktualisieren Sie teilweise einen Spark-Datenframe (aktualisieren Sie einige Zeilen)

Ich verwende Spark 1.5.2 mit Python3. Ich habe zwei Datenfelder in Pyspark. Sie sehen aus wie: old_df = src | rank ------ | ------ a| 1 b| 1 c| 1 d| 1 e| 1 f| 1 g

3Hitze

2Antwort

Spark & Scala - Kann nicht null filtern Werte von RDD

Ich habe versucht, Null-Werte von RDD zu filtern, aber fehlgeschlagen. Hier ist mein Code: val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.I

10Hitze

1Antwort

Apache Spark 2.0: java.lang.UnsupportedOperationException: Kein Encoder gefunden für java.time.LocalDate

Ich verwende Apache Spark 2.0 und case class für Erwähnung Schema für DetaSet erstellen. Wenn ich versuche, benutzerdefinierten Encoder zu definieren, nach How to store custom objects in Dataset?, für

1Hitze

3Antwort

Auswählen bestimmten Spalte Funken mit

i in hdfs eine Datei bin, die (,) ist Komma getrennt, ich versuche, 6. Spalte für das i unter i object WordCount { def main(args: Array[String]) { val textfile = sc.textFile("/user/cloudera/xxx/xxx

6Hitze

1Antwort

Nicht in der Lage führen zu holen aus hive Transaktion freigegeben Tabelle durch Funken SQL

Hintergrund: - Ich bin mit HDP mit spark1.6.0 und hive 1.2.1 Schritte folgen : - erstellen hive Tabelle: - hive> CREATE TABLE orctest(PROD_ID bigint, CUST_ID bigint, TIME_ID timestamp, CHANNEL_ID big

0Hitze

1Antwort

Cassandra Spark Connector

Mein Cassandra CF hat Datum und ID als Partition Key. Während der Abfrage weiß ich nur das Datum, also ich Schleife über den Bereich der IDs. Meine Frage dreht sich darum, wie der Connector den folgen

-1Hitze

1Antwort

Funken SQL-Abfrage mit löschen Joinbedingungen

Ich versuche, eine Tabellenwerte mit einer anderen Tabelle zu überprüfen, zu löschen, wie DELETE Table1 FROM Table1 t1 INNER JOIN Table2 t2 ON t1.Col1 = t2.Col1 WHERE t2.Col3 IN ('Two-Three','Two-F

1Hitze

1Antwort

Apache Spark MLlib mit DataFrame API gibt java.net.URISyntaxException wenn createDataFrame() oder read(). Csv (...)

In einer eigenständigen Anwendung (läuft auf Java8, Windows 10 mit Spark-xxx_2.11: 2.0. 0 als jar Abhängigkeiten) nächster Code einen Fehler gibt: /* this: */ Dataset<Row> logData = spark_session.cre