Speichern einer Liste von Zeichenfolgen zu einem HDF5-Dataset von Python

Question

Ich versuche, eine Liste variabler Länge von Zeichenfolge zu einem HDF5-Dataset zu speichern. Der Code dafür ist

import h5py 
h5File=h5py.File('xxx.h5','w') 
strList=['asas','asas','asas'] 
h5File.create_dataset('xxx',(len(strList),1),'S10',strList) 
h5File.flush() 
h5File.Close() 

ich eine Störung erhalte die besagt, dass "Typeerror: No Umsetzungsweg für dtype: dtype (‘ & lt U3')" wo die & lt bedeutet tatsächlich kleiner als Symbol
Wie kann ich dieses Problem lösen.

Answer 1

Sie lesen in Unicode-Strings, geben aber Ihren Datentyp als ASCII an. Gemäß the h5py wiki unterstützt h5py diese Konvertierung derzeit nicht.

Sie werden die Saiten in einem Format h5py Griffe codieren müssen:

asciiList = [n.encode("ascii", "ignore") for n in strList] 
h5File.create_dataset('xxx', (len(asciiList),1),'S10', asciiList) 

Hinweis: nicht alles in UTF-8 kodiert in ASCII codiert werden!

Answer 2

In HDF5, data in VL format is stored as arbitrary-length vectors of a base type. In particular, strings are stored C-style in null-terminated buffers. NumPy has no native mechanism to support this. Unfortunately, this is the de facto standard for representing strings in the HDF5 C API, and in many HDF5 applications.

Thankfully, NumPy has a generic pointer type in the form of the “object” (“O”) dtype. In h5py, variable-length strings are mapped to object arrays. A small amount of metadata attached to an “O” dtype tells h5py that its contents should be converted to VL strings when stored in the file.

Existing VL strings can be read and written to with no additional effort; Python strings and fixed-length NumPy strings can be auto-converted to VL data and stored.

Example

In [27]: dt = h5py.special_dtype(vlen=str) 

In [28]: dset = h5File.create_dataset('vlen_str', (100,), dtype=dt) 

In [29]: dset[0] = 'the change of water into water vapour' 

In [30]: dset[0] 
Out[30]: 'the change of water into water vapour' 

Answer 3

Ich bin in einer ähnlichen Situation in hdf5 Datei speichern Spaltennamen von Datenrahmen als Datensatz zu wollen. Unter der Annahme, df.columns ist, was ich speichern wollen, fand ich folgende Arbeiten:

h5File = h5py.File('my_file.h5','w') 
h5File['col_names'] = df.columns.values.astype('S') 

Dies setzt voraus, die Spaltennamen sind ‚einfache‘ Strings, die in ASCII codiert werden können.