Ich möchte Daten zwischen Spark Executor und C++ - Prozess freigeben. Abgesehen von der Speicherung der Daten als Datei im speicherinternen FS wie Tachyon/IgniteFS gibt es noch eine andere effiziente Methode?Ist es möglich, von der C/C++ - Anwendung aus auf Apache IgnitieRDD zuzugreifen?
Ignite bietet Spark die Möglichkeit, die Ergebnisse seiner Ausführungen zu speichern und sie zwischen verschiedenen Spark-Jobs in einem freigegebenen RDD-Aufruf zu teilen IgniteRDD.
Kurz gesagt, ist IgniteRDD ein verteilter benannter Cache, auf den direkt mit den cache.get-ähnlichen Operationen zugegriffen werden kann. Wenn Sie Ignite C++ verwenden, können Sie mit einem solchen Cache interagieren, der auch von IgniteRDD verwendet wird, indem Sie die grundlegende Cache-API verwenden.