apache-spark

2Hitze

1Antwort

Spark-Dataframe groupBy und Ergebnisse sortieren in eine Liste

ich einen Spark-Datenrahmen haben und ich würde durch einen Schlüssel, um die Elemente zu einer Gruppe gerne und haben die Ergebnisse als sortierte Liste Derzeit verwende ich: df.groupBy("columnA").ag

apache-spark spark-dataframe 2016-08-01

---

0Hitze

1Antwort

Fehler beim Extrahieren von Features (Funke)

Ich habe einige Probleme beim Extrahieren von Features aus Rohdaten festgestellt. Hier ist meine Daten: 25,Private,226802,11th,7,Never-married,Machine-op-inspct,Own-child,Black,Male,0,0,40,United-Stat

scala apache-spark apache-spark-mllib 2016-08-01

---

0Hitze

1Antwort

Clean Spark Cache-Daten

verwendete ich Cache() und bestehen() auf Dataframe througout meiner Anwendung. Und ich möchte wissen, muss ich unpersist aufrufen() auf jedem Datenrahmen, den ich zwischengespeichert habe, um allen S

apache-spark apache-spark-sql spark-dataframe 2016-08-01

---

0Hitze

1Antwort

Wie führe ich das Zippen zwischen zwei DStreams in Scala durch?

Ich habe zwei gefensterte dstreams, die ich gerne zippen würde wie das normale Zippen in RDDs. Hinweis: Das Hauptziel ist es, den Mittelwert und die Standardabweichung des Fensters dstream zu berechne

apache-spark spark-streaming dstream 2016-08-01

---

0Hitze

3Antwort

IntellijIdea - Infomeldung bei Ausführung von Spark-Anwendung deaktivieren

Ich erhalte so viele Meldungen, wenn ich eine Anwendung verwende, die Apache Spark und Hbase/Hadoop-Bibliothek verwendet. Zum Beispiel: 0 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFact

scala hadoop apache-spark hbase 2016-08-01

---

5Hitze

1Antwort

Wie vorhergesagt und Label Spalten in BinaryClassificationMetrics Auswertung für Naive Bayes Modell

Ich habe eine Verwirrung über BinaryClassificationMetrics (Mllib) Eingänge. Gemäß Apache Spark 1.6.0 müssen wir vorhergesagt und die Bezeichnung des Typs (RDD[(Double,Double)]) aus dem transformierten

scala apache-spark machine-learning apache-spark-mllib apache-spark-ml 2016-08-01

---

0Hitze

1Antwort

Frühe Initialisierung von Objekten auf Worker-Knoten im Spark-Cluster

Ich verwende Drools mit Spark in einem eigenständigen Cluster. Ich möchte die Wissenssitzung auf alle Arbeiterknoten beim Start laden, d. H. Vor der Map-Reduzierungsaufgabe. Ich habe versucht, die Sta

apache-spark drools apache-spark-standalone 2016-08-01

---

0Hitze

3Antwort

Problem Übergabe Anwendungsargument zu Spark-Submit mit Scala

Ich bin ziemlich neu in der funktionalen Programmierung und habe keine imperative Programmierung Hintergrund. Durch einige grundlegende Scala/Spark-Tutorials online gehen und einige Schwierigkeiten ha

java scala apache-spark 2016-08-01

---

6Hitze

2Antwort

Scalatest Maven Plugin "keine Tests wurden ausgeführt"

Ich versuche scalatest und spark-testing-base auf Maven für Integrationstest Spark zu verwenden. Der Spark-Job liest eine CSV-Datei ein, validiert die Ergebnisse und fügt die Daten in eine Datenbank e

scala maven apache-spark scalatest 2016-08-01

---

0Hitze

1Antwort

Besserer Weg zum Speichern des Passworts während des Oozie-Spark-Job-Workflows

Ich habe einen Oozie-Workflow, der einen Spark-Job ausführt, der Benutzernamen und Passwörter benötigt, um sich mit verschiedenen Servern zu verbinden. Jetzt gebe ich es in der workflow.xml als Argume

hadoop apache-spark oozie 2016-08-01

---