distributed-computing

7Hitze

2Antwort

Warum verteilt Spark Jobs nicht an alle Executoren, sondern nur an einen Executer?

Mein Spark Cluster hat 1 Master und 3 Arbeiter (auf 4 separaten Maschinen, jede Maschine mit 1 Kern), und andere Einstellungen sind wie in der folgenden Abbildung, wobei func.cores.max auf gesetzt ist

15Hitze

3Antwort

Service Discovery vs Load Balancing

Ich versuche zu verstehen, in welchem Szenario ich eine Service-Registrierung über einen Lastenausgleich auswählen sollte. Aus meiner Sicht decken beide Lösungen die gleiche Funktionalität ab. Zum B

7Hitze

2Antwort

Unterschied zwischen rdd.collect() .Map to rdd.collectAsMap()?

Gibt es irgendwelche Auswirkungen auf die Leistung, wenn ich collectAsMap auf meiner RDD anstelle von rdd.collect(). ToMap verwende? Ich habe einen Schlüsselwert rdd und ich möchte in HashMap konverti

8Hitze

3Antwort

Was ist CRDT in verteilten Systemen?

Ich bin ein Neuling in verteilten Systemen und ich versuche, einen Einblick in das Konzept von CRDT zu bekommen. Ich weiß, dass es drei Notationen hat: Conflict-free Replicated Data Type Convergent R

5Hitze

3Antwort

Wie wird der Distributed Rate Limiter implementiert?

Nehmen wir an, ich habe P-Prozesse, die einige Geschäftslogik auf N physischen Maschinen ausführen. Diese Prozesse rufen zum Beispiel einen Web-Service S auf. Ich möchte sicherstellen, dass nicht mehr

9Hitze

1Antwort

Warum nimmt TCP/IP unter Windows7 500 Sends zum Aufwärmen? (w10, w8 erwies sich nicht zu leiden)

Wir sehen ein bizarres und unerklärliches Phänomen mit ZeroMQ auf Windows 7, Senden von Nachrichten über TCP. (Oder über inproc, da ZeroMQ TCP intern für Signalisierung unter Windows verwendet). Das P

5Hitze

1Antwort

Akka Clustering Konflikte

Die Akka doc Gespräche über eine Vielzahl von scheinbar miteinander verbundenen Akka Technologien ohne viel zwischen ihnen zu unterscheiden: Akka Networking Akka Remoting Akka Clustering Die Akka Zero

10Hitze

1Antwort

Kann den Matlabpool nicht starten Gestartet

Ich betreibe MATLAB seit ungefähr anderthalb Jahren. Und ich habe versucht, Matlabpool bereit zu bekommen, einmal in fast alle drei Monate zu gehen. Bevor ich es komplett aufgegeben habe, habe ich bes

119Hitze

1Antwort

Was sind Workers, Executors, Cores im Spark Standalone-Cluster?

Ich lese Cluster Mode Overview und ich kann immer noch nicht die verschiedenen Prozesse in der Spark Standalone-Cluster und die Parallelität zu verstehen. Ist der Mitarbeiter ein JVM-Prozess oder nich

17Hitze

2Antwort

Ist es möglich, Partitionen zu einem bestehenden Thema in Kafka hinzuzufügen 0.8.2

Ich habe einen Kafka-Cluster mit 2 Partitionen. Ich suchte nach einer Möglichkeit, die Anzahl der Partitionen auf 3 zu erhöhen. Ich möchte jedoch keine vorhandenen Nachrichten im Thema verlieren. Ich