In dem offiziellen Spark-RDD API:Spark Async-Schnittstelle zum Falten, Reduzieren, Aggregieren?
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html
Zählung, zu sammeln, foreach und nimmt alle Asynchron-Varianten, die eine Zukunft zurückkehren.
Warum falten, reduzieren und aggregieren diese asynchrone/zukünftige Schnittstelle nicht? Das scheint ziemlich wichtig zu sein.
TL; DR: Der Unterschied ist zwischen Funken "Aktionen" vs. "Transformationen": https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#rdd-operations
Hinweis, dass alle Dinge, die Sie mit einer asynchronen Option aufgelistet sind Funken "Aktionen", was bedeutet, dass sie sofort mit der Verarbeitung der Daten beginnen und versuchen, synchron zurückzukehren. Es kann eine lange Zeit dauern, wenn viele Daten vorhanden sind, daher ist es eine asynchrone Option.
Inzwischen sind die Operationen, die Sie ohne eine asynchrone Option aufgelistet sind Funken „Transformationen“ die träge ausgewertet werden, was bedeutet, dass sie sofort einen Plan erstellt, die Arbeit zu tun, aber es wird nicht wirklich alle Daten verarbeiten, bis Sie sich bewerben eine "Aktion" später Ergebnisse zurückgeben.
In der Zwischenzeit haben Sie spezifischen Code oder ein Problem, das Sie versuchen, damit zu lösen?
Und saveAsObjectFile – arivero