Der schnellste Weg, um Sätze von Spalten aus großen Arrays in Julia zu unterteilen

Question

Ich interessiere mich für Statistiken über verschiedene zufällig ausgewählte Teilmengen einer großen Datenmatrix, und jetzt ist ein Flaschenhals in meinem Code die tatsächliche Unterabtastung. Das erscheint mir komisch, da es bei den unterabgetasteten Daten ziemlich viele O (N^2) -Distanzberechnungen gibt. Ich modifiziere die Subsamples überhaupt nicht, schaue sie nur an.

using Distributions, Distances 

function test_subsetting(X; batch_size=500, nloops=100) 
    nfeatures, nsamples = size(X) 
    ref_samples = X[:,1:10] 
    batch_inds = zeros(batch_size) 
    batch = zeros(nfeatures,batch_size) 
    d_matrix = zeros(batch_size,batch_size) 
    for i = 1:nloops 
     batch_inds = sort(sample(1:nsamples, batch_size, replace = false)) 
     batch = X[:,batch_inds] 
     d_matrix = pairwise(SqEuclidean(), batch, ref_samples) 
    end 
end 

Als ich es testen, indem 50000 Probenmatrix auf einem 5000-Funktion aus:

X_test = randn(5000,50000); 

Ich sehe, dass ich etwa die Hälfte meiner Zeit in _unsafe_getindex in multidimensional.jl verbringen, und die andere Hälfte der Abstandsberechnung zu tun .

Gibt es eine effizientere Möglichkeit, dieses Problem anzugehen?

Answer 1

Dies funktioniert für mich auf julia 0,5:

julia> using Distances, Distributions 

julia> X = randn(500,1000); 

julia> S = sample(1:1000,500,replace=false); 

julia> M = view(X, :, S); 

julia> S2 = sample(1:1000,500,replace=false); 

julia> R = view(X, :, S2); 

julia> pairwise(SqEuclidean(), M, R) 
500×500 Array{Float64,2}: 
    994.67 ... 
... 

view auf julia 0,5 slice genannt wird (oder sub, hier würden sie gleich sein) auf julia 0,4. Nicht zu verwechseln mit ArrayViews.view, die etwas ähnliches tut, aber mit einer völlig anderen Implementierung.

Theoretisch scheint es, Sie sollten view mit slice ersetzen können, aber es scheint, dass es eine At_mul_B! Methode auf Julia 0.4 fehlt. Sie könnten also stecken bleiben und eine Kopie machen.

Answer 2

Sie können Ihre "Sampling" -Zeit komplett verkürzen, wenn Sie eine große Matrix randomisierter Indizes "vorgenerieren" möchten, die Sie dann zur Laufzeit referenzieren. Sie können dieser Matrix sogar ein bisschen "Reihen und Spalten" geben, die vor jedem Gebrauch mit minimalen Kosten mischen.

Auch, warum müssen Sie überhaupt sortieren? Sicherlich, dass das den Stichprobenpunkt vereitelt und unnötige Berechnungen einführt?