dask

6Hitze

3Antwort

die Tasche nicht alle Kerne verwenden? Alternativen?

Ich habe ein Python-Skript, das Folgendes tut: i. die eine Eingabedatei mit Daten verwendet (normalerweise geschachteltes JSON-Format) ii. übergibt die Daten Zeile für Zeile an eine andere Funktion, d

3Hitze

1Antwort

Artikelzuordnung zu Python dask Array-Objekte

Ich habe ein Python dask Array erstellt und ich versuche, ein Stück des Arrays wie folgt zu ändern: import numpy as np import dask.array as da x = np.random.random((20000, 100, 100)) # Create numpy

1Hitze

1Antwort

Python: Punkt Produkt von DASK-Array

Ich versuche, Punktprodukt von sehr großen 2 dask Arrays X (35000 x 7500) und Y (7500 x 10) zu tun. Da das Skalarprodukt auch sehr groß sein wird, ich es bin Speicherung in hdf5 f = h5py.File('output.

2Hitze

2Antwort

Array-Operationen auf DASK-Arrays

Ich habe zwei DASK-Arrays, d. H. A und b. Ich bekomme Punktprodukt von a und b, wie unten >>>z2 = da.from_array(a.dot(b),chunks=1) >>> z2 dask.array<from-ar..., shape=(3, 3), dtype=int32, chunksize=

1Hitze

1Antwort

Wie behandeln Datk-Datenrahmen Datensätze, die größer als der Speicher sind?

Die documentation of the Dask package for dataframes sagt: Dask Datenrahmen aussehen und wie Pandas Datenrahmen fühlen, aber mit mehreren Threads auf Datensätze größer als Speicher arbeiten. Aber spät

0Hitze

1Antwort

Python: Ändern dtype von dask Array

Nachfolgend finden Sie eine dask Array >>> import dask.array as da >>> x = da.random.normal(5,2,size=(3,3),chunks=(1,1)) >>> x dask.array<da.rand..., shape=(3, 3), dtype=float64, chunksize=(1, 1)>

11Hitze

3Antwort

Beschleunigung Lese von sehr großer netcdf Datei in Python

Ich habe eine sehr große netCDF-Datei, die ich gelesen bin mit netCDF4 in Python ich diese Datei nicht auf einmal, da seine Dimensionen lesen (1200 x 720 x 1440) sind zu groß, um die gesamte Datei gle