Theano partielle Ableitung über Element in symbolischer Vektor

Question

schlug ich vor kurzem einige Leistungsengpässe mit symbolischen Matrixderivaten in Sympy (genauer gesagt, das einzelne Codezeile symbolischen Matrices durch Substitution Auswerten Lambdas Verwendung wurde unter ~ 90% der Programmlaufzeit), so Ich beschloss, Theano auszuprobieren.

Ihre frühere Anwendung war die Bewertung der partiellen Ableitungen über die Hyperparameter eines Gaußschen Prozesses, wobei die Verwendung einer (1, k) Dimensionsmatrix von Sympy-Symbolen (MatrixSymbol) im Hinblick auf das Iterieren über diese Liste und Differenzieren der Matrix gut funktionierte jeder Gegenstand.

Dies ist jedoch nicht trägt in Theano über, und die Dokumentation scheint nicht zu detailliert, wie dies zu tun. Das Indizieren eines symbolischen Vektors in Theano gibt den Subtensor-Typ zurück, der für die Berechnung des Gradienten auf ungültig ist.

Im Folgenden ist eine einfache (aber völlig algorithmisch falsch - auf die Funktionalität abgespeckte ich versuche zu erhalten) Version von dem, was ich zu tun habe versucht.

BEARBEITEN: Ich habe das Codebeispiel so modifiziert, dass die Daten als Tensor in die Funktion übernommen werden, wie unten vorgeschlagen, und es wurde ein alternativer Versuch unternommen, stattdessen eine Liste separater Skalartensoren zu verwenden, da ich die Werte nicht indexieren kann ein symbolischer Theano-Vektor, wenn auch auch ohne Erfolg.

import theano 
import numpy as np 

# Sample data 
data = np.array(10*np.random.rand(5, 3), dtype='int64') 

# Not including data as tensor, incorrect/invalid indexing of symbolic vector 
l_scales_sym = theano.tensor.dvector('l_scales') 
x = theano.tensor.dmatrix('x') 
f = x/l_scales_sym 
f_eval = theano.function([x, l_scales_sym], f) 

df_dl = theano.gradient.jacobian(f.flatten(), l_scales_sym[0]) 
df_dl_eval = theano.function([x, l_scales_sym], df_dl) 

Die zweite letzte Zeile des Codeausschnittes ist, wo ich in der Liste der ‚Längenskala‘ Variablen, aber diese Art der Indizierung ist nicht anwendbar auf den symbolischen eine partielle Ableitung über eines der Elemente zu bekommen versuchen Vektoren.

Jede Hilfe würde sehr geschätzt werden!

Answer 1

Wenn Theanos verwenden, sollten alle Variablen wie Theanos Tensoren definiert werden (oder gemeinsam genutzten Variablen); Andernfalls wird die Variable nicht Teil des Berechnungsgraphen. In f = data/l_scales_sym ist die Variable data ein Nummernfeld. Versuchen Sie es auch als einen Tensor zu definieren, es sollte funktionieren.