Wie Speicherfehler zu vermeiden, wenn große Kovarianz und Identitäts-Matrizen mit numpy Berechnung

Question

Ich habe zwei Matrizen als numpy Arrays:

A.shape 
(800, 1200) 
B.shape 
(800, 101343) 

Ich brauche die Kovarianzmatrix A und B und die Identitätsmatrix zu berechnen, der A und B:

import numpy as np 
a_row, a_col = A.shape 
b_row, b_col = B.shape 
C_ab = np.cov(A,B, rowvar=False)[:a_col, a_col:] 
ai = np.eye(a_col) 
bi = np.eye(b_col) 

Das hier Problem ist aber, dass ich bekommen:

2493  else: 
    2494   X_T = (X*w).T 
-> 2495  c = dot(X, X_T.conj()) 
    2496  c *= 1./np.float64(fact) 
    2497  return c.squeeze() 

MemoryError: 

Aufgrund der Größe von 012.. Wer kennt eine Arbeit?

Answer 1

GraphLab create hat eine eigene Implementierung von Numpy, die Sie installieren können, die alle Berechnungen auf der Festplatte durchführt, siehe: https://turi.com/learn/gallery/notebooks/linear_regression_benchmark.html. Insbesondere haben sie einen Befehl:

import numpy as np 
import graphlab.numpy 

die Ergebnisse:

Scalable Numpy Activation Successful 

Danach Numpy Lage sein sollten, Ihre Matrix zu behandeln.