verketten Funktionen Wort an der Eingangsschicht während der Laufzeit des Einbettens

Question

Angenommen, ich erhalte eine Eingangsmatrix nach Lookup-Einbettung, die wie folgt aussieht:

[[[0.5, 0.25, 0.47, 0.86], [0.8. 0.12, 0.63, 0.97], [0.7, 0.47, 0.32, 0.01]], ... , [[...]]] i., e jede Einbettung ist von dim = 4 und die Satzlänge ist 3, wie in dem erwähnten Fall angegeben.

Wie können wir einen Merkmalsvektor von Dim Say 2, der jedem Wort im Satz dynamisch (d. H. Während der Laufzeit) mit dem Platzhalter in Tensorflow/TFLearn oder Theano? So final input will be of dim = embedding_dim + feature_dim.

P.S: Eingabe Matrix ist ein 3D-Tensor der Form [x y z], x = Anzahl der Sätze im Batch, y = Anzahl der Wörter in den Sätzen (einschließlich Auffüllen). z = Einbettungsdimension Die endgültige Form wäre [x y z + 2].

Answer 1

In Tensorflow können Sie einen Platzhalter der gewünschten Form [x, y, 2] erstellen und ihn dann mit tf.concat mit dem Eingabe-Tensor verketten. Unter der Annahme, ‚Eingänge‘ Ihre [x, y, z] Einbettung Tensor, Sie so etwas tun kann:

features = tf.placeholder(tf.float32, [x, y, 2]) 
new_inputs = tf.concat(2, [inputs, features]) # Concatenate along the 3rd dimension