Räumliche trennbare Faltung

Question

Wie kann ich eine 1x1-Faltung, die über separate Tensoren entlang der räumlichen Dimension im Tensorflow verfügt, effizient implementieren? Es gibt eine tf.nn.depthwise_conv2d, die meinem Problem ähnlich ist, aber es hat separate Filter über Tiefe (d. 3. Dimension).

Im einfachsten Fall out_channels = 1 diese Faltung kann geschrieben werden:

def spatial_conv(input, filter): 
    return tf.reduce_sum(tf.mul(input, filter), [3], keep_dims=True) 

wo input.dim=[batch_size, input_width, input_height, channels] und filter.dim=[input_width, input_height, channels]. Ich möchte diese Faltung verallgemeinern, indem ich die Ausgaben von der gleichen Eingabe und von verschiedenen (aber derselben Form) Filtern verkette.

Answer 1

Ich denke, Sie suchen etwas wie https://github.com/torch/nn/blob/master/doc/convolution.md#nn.SpatialConvolutionLocal in Torch. Bedenken Sie jedoch, dass die CUDA-Implementierung (Cunn-Modul) im Moment einen fürchterlichen Fehler aufweist, der die CUDA-Leistung sogar noch schlimmer macht als die CPU.