distributed-computing

19Hitze

1Antwort

eine einfache Linie Zeichenfolge RDD in Spark-

Ich habe eine einfache Linie: line = "Hello, world" Ich mag würde es zu einer RDD konvertieren mit nur einem Element. Ich habe versucht sc.parallelize(line) Aber es bekommen: sc.parallelize(line).

8Hitze

1Antwort

Real-World-Beispiel von Apache Helix, Zookeeper, Mesos und Erlang?

Ich bin neu in Apache ZooKeeper: ZooKeeper ein zentraler Service ist die Konfigurationsinformationen für die Aufrechterhaltung, Namensgebung, verteilen Synchronisation bereitstellt, und Gruppen Dienst

15Hitze

1Antwort

Nicht-finanzielle Verwendung für Blockchain

Ich bin gespannt, gibt es bereits andere praktische Anwendungen für Blockchain? Ich habe ein wenig Forschung und ich habe einige Ideen auf Verträgen, Torrents, Musik, Online-Wahlsystem (politische) un

32Hitze

2Antwort

Verketten von Datensätzen verschiedener RDDs in Apache Spark mit Hilfe von Scala

Gibt es eine Möglichkeit, Datensätze von zwei verschiedenen s in Funken zu verketten? Anforderung ist - ich erstelle zwei Zwischen-RDDs mit Scala, die gleiche Spaltennamen hat, müssen diese Ergebnisse

12Hitze

1Antwort

Wie weit wird Spark RDD Cache gehen?

sagen, dass ich drei RDD Transformationsfunktion auf RDD1 genannt haben: def rdd2 = rdd1.f1 def rdd3 = rdd2.f2 def rdd4 = rdd3.f3 Jetzt möchte ich rdd4 zwischenzuspeichern, so nenne ich rdd4.cache

28Hitze

2Antwort

Wie aggregiert Spark Funktion aggregateByKey?

Angenommen, ich habe ein Verteilungssystem auf 3 Knoten und meine Daten werden unter diesen Knoten verteilt. zum Beispiel habe ich eine test.csv-Datei, die auf alle drei Knoten vorhanden ist, und es e

5Hitze

1Antwort

Apache Funke, "konnte kein lokales Verzeichnis erstellen"

Ich versuche, Apache-Spark auf einem kleinen Standalone-Cluster (1 Master Node und 8 Slave Nodes) einzurichten. Ich habe die "vorgebaute" Version von funke 1.1.0 installiert auf Hadoop 2.4 installiert

5Hitze

1Antwort

Spark 1.0.2 (auch 1.1.0) hängt auf einer Partition

Ich habe ein seltsames Problem in Apache Funke und ich würde etwas Hilfe zu schätzen wissen. Nach dem Lesen von Daten aus hdfs (und einige Konvertierung von JSON zu Objekt) schlägt die nächste Stufe (

6Hitze

1Antwort

Interner Distributed Time Server Implementierung

Ich habe einen internen Distributed Time Server (ohne Master) für unsere bevorstehende verteilte NoSQL-Datenbank-System. Es sollte Probleme mit der Takt- und Taktverschiebung in Byzanz behandeln, sola

5Hitze

1Antwort

Nachteile von Spark-Streaming im Vergleich mit Real-Streaming-Computing-Systemen

Einige sagen, dass Funken-Streaming, obwohl es Ströme in Form von Mikro-Chargen verarbeiten kann, ist es immer noch nicht so ein Streaming-Computing-System wie Sturm. Was sind die begrenzenden Faktore