Slicing eine Python-Liste mit einem NumPy Array von Indizes - jeder schnelle Weg?

Question

Ich habe eine regelmäßige list namens a, und ein NumPy Array von Indizes b.
(Nein, es ist mir nicht möglich, a zu einem NumPy Array zu konvertieren.)

Gibt es für mich eine Möglichkeit, um die gleiche Wirkung wie „a[b]“ effizient? Um klar zu sein, bedeutet dies, dass ich nicht jedes Individuum int in b aufgrund seiner Auswirkungen auf die Leistung extrahieren möchte.

(Ja, das ist ein Engpass in meinem Code. Deshalb habe ich NumPy Arrays bin mit zu beginnen.)

Answer 1

a = list(range(1000000)) 
b = np.random.randint(0, len(a), 10000) 

%timeit np.array(a)[b] 
10 loops, best of 3: 84.8 ms per loop 

%timeit [a[x] for x in b] 
100 loops, best of 3: 2.93 ms per loop 

%timeit operator.itemgetter(*b)(a) 
1000 loops, best of 3: 1.86 ms per loop 

%timeit np.take(a, b) 
10 loops, best of 3: 91.3 ms per loop 

ich für numpy.take() große Hoffnungen hatte, aber es ist bei weitem nicht optimal. Ich habe auch einige Numba-Lösungen ausprobiert und ähnliche Zeiten erzielt - etwa 92 ms.

So ein einfaches Listenverständnis ist nicht weit von den besten hier, aber operator.itemgetter() gewinnt, zumindest für Eingangsgrößen in diesen Größenordnungen.

Answer 2

schreiben cython Funktion:

import cython 
from cpython cimport PyList_New, PyList_SET_ITEM, Py_INCREF 

@cython.wraparound(False) 
@cython.boundscheck(False) 
def take(list alist, Py_ssize_t[:] arr): 
    cdef: 
     Py_ssize_t i, idx, n = arr.shape[0] 
     list res = PyList_New(n) 
     object obj 

    for i in range(n): 
     idx = arr[i] 
     obj = alist[idx] 
     PyList_SET_ITEM(res, i, alist[idx]) 
     Py_INCREF(obj) 

    return res 

Das Ergebnis% timeit:

import numpy as np 

al= list(range(10000)) 
aa = np.array(al) 

ba = np.random.randint(0, len(a), 10000) 
bl = ba.tolist() 

%timeit [al[i] for i in bl] 
%timeit np.take(aa, ba) 
%timeit take(al, ba) 

1000 loops, best of 3: 1.68 ms per loop 
10000 loops, best of 3: 51.4 µs per loop 
1000 loops, best of 3: 254 µs per loop 

numpy.take() ist die schnellste, wenn sowohl der Argumente ndarray Objekt sind. Die Cython-Version ist 5x schneller als das Listenverständnis.