Beschädigte Knoten in einer HDF5-Datei

Question

Ich habe eine Instanz eines Programms in einem Cluster ausgeführt, führt das Programm im Grunde numerische Berechnungen lesen und schreiben numerische Arrays in eine HDF5 Datei mit h5py.

Wenn ich versuche, mehrere Instanzen meines Codes in verschiedenen Computerknoten im Cluster auszuführen, stürzen alle laufenden Skripts außer einem ab. Der angezeigte Fehler ist

KeyError: 'Unable to get link info (Bad symbol table node signature)'

Das überlebende Skript läuft ohne ein Problem weiter. Ich habe die mit Anweisung in allen Funktionen verwendet, die mit dem HDF5 sprechen, um sicherzustellen, dass die Datei ordnungsgemäß geschlossen wird, nachdem die I/O Operationen durchgeführt wurden.

Könnte mir bitte jemand erklären, was die Bedeutung dieses Fehlers ist?

Answer 1

Nach dem Buch Python und HDF5 von Andrew Collete,

multiprocessing is a more recent built-in module available with Python, which provides support for basic fork()-based parallel processing. The main restriction is that your parallel processes can’t share a single HDF5 file, even if the file is opened read- only. This is a limitation of the HDF5 library.....

For anything else, MPI-based Parallel HDF5 is by far the best way to go. MPI is the official “flavor” of parallelism supported by the HDF5 library. You can have an unlimited number of processes, all of which share the same open HDF5 file.