apache-spark

9Hitze

3Antwort

Was ist der effiziente Weg, den Wert in Sparks RDD zu aktualisieren?

Ich schreibe ein Diagramm-bezogenes Programm in Scala mit Spark. Der Datensatz hat 4 Millionen Knoten und 4 Millionen Kanten (Sie können dies als Baum behandeln), aber ich bearbeite für jeden Zeitpunk

5Hitze

2Antwort

Scalac: Assertion schlug fehl beim laufen Scalatest in IDEA

Ich bin eine ScalaTest Suite innerhalb IntelliJ IDEA, während der Make Phase vor scala Test ausgeführt wird, ich in dieses Problem: Error:scalac: Error: assertion failed: List(object package$DebugNode

8Hitze

3Antwort

Spark Java-Anwendung: java.lang.ClassNotFoundException

Ich habe eine Apache Spark-Anwendung mit Java erstellt. Es zählt nur die Zeilen mit dem Wort "Funken" 1000 Mal. Hier ist mein Code: public class Example1 { public static void main(String[] args)

32Hitze

5Antwort

So ändern Sie den Speicher pro Knoten für Apache Spark Worker

Ich konfiguriere einen Apache Spark-Cluster. Wenn ich den Cluster mit 1 Master und 3 Slaves laufen, sehe ich auf der Master-Monitor Seite: Memory 2.0 GB (512.0 MB Used) 2.0 GB (512.0 MB Used) 6.0 G

7Hitze

1Antwort

Spark Streaming historischen Zustand

Ich bin Echtzeit-Verarbeitung für die Erkennung von Betrug ATM-Karte Transaktion. Um Betrug effizient zu erkennen, benötigt die Logik das letzte Transaktionsdatum pro Karte, die Summe der Transaktions

6Hitze

1Antwort

ersten Quartil für eine numerische Spalte in Spark berechnen

Ich bin ein Neuling in Spark/Scala. Das ist, was ich tue das erste Quartil einer CSV-Datei val column= sc.textFile("test.txt").map(_.split(",")(2)).flatMap(_.split(",")).map((_.toDouble)) val total =

9Hitze

2Antwort

Es ist möglich, eine eingebettete Instanz von Apache Spark Node zu starten?

Ich möchte eine Instanz eines eigenständigen Apache Spark-Clusters in meine Java-App integrieren. Ich habe versucht, einige Dokumente auf ihrer Website zu finden, aber noch nicht zu sehen. Ist das mög

8Hitze

2Antwort

Kann nicht einfache Aufgabe auf ec2 Funke Cluster von lokalen pyspark tun

Ich versuche, pyspark von meinem Mac ausführen, um auf einem EC2-Funke-Cluster zu berechnen. Wenn ich zum Cluster anmelden, funktioniert es wie erwartet: $ ec2/spark-ec2 -i ~/.ec2/spark.pem -k spark l

8Hitze

1Antwort

Hbase 0.96 mit Spark v 1.0+

Diese Kombination von Hbase/Spark-Versionen scheint ziemlich giftig zu sein. Ich habe Stunden damit verbracht, verschiedene MergeStrategy's zu finden, die funktionieren würden, aber ohne Erfolg. Hier

9Hitze

2Antwort

Erstellen eines großen Wörterbuchs in pyspark

Ich versuche, das folgende Problem mit pyspark zu lösen. Ich habe eine Datei auf hdfs im Format, das ein Dump der Nachschlagetabelle ist. Ich möchte dies in Python-Wörterbuch in Pyspark laden und für