Ist es möglich, ein Syntaxnet-Modell (Parsey McPareface) zu exportieren, das mit TensorFlow Serving geliefert wird?

Question

Ich habe die Demo.sh funktioniert gut und ich habe auf die Parser_eval.py geschaut und hat alles bis zu einem gewissen Grad groked. Ich sehe jedoch nicht, wie dieses Modell mit TensorFlow Serving bedient werden kann. Es gibt zwei Probleme, die ich oben sehen kann:

1) Es gibt kein exportiertes Modell für diese Graphen, das Diagramm wird bei jedem Aufruf mit einem Graph Builder (zB structured_graph_builder.py), einem Kontextprotokollpuffer und einem eine ganze Reihe anderer Sachen, die ich an dieser Stelle nicht vollständig verstehe (es scheint auch zusätzliche Syntaxnet.ops zu registrieren). Also ... ist es möglich und wie würde ich diese Modelle in das "Bündel" -Formular exportieren, das von Serving und der SessionBundleFactory benötigt wird? Ist dies nicht der Fall, müssen die Logik/Schritte für das Erstellen des Graphen in C++ neu implementiert werden, da das Serving nur im C++ - Kontext ausgeführt wird.

2) demo.sh ist eigentlich zwei Modelle buchstäblich zusammen mit UNIX-Pipe Piped, so dass alle Servable (möglicherweise) zwei Sitzungen erstellen und die Daten von einem zum anderen marshalieren müssen. Ist das ein richtiger Ansatz? Oder ist es möglich, ein "großes" Diagramm zu erstellen, in dem beide Modelle zusammen "gepatcht" werden und das stattdessen exportiert wird?

Answer 1

Also nach viel lernen, forschen etc. Ich habe am Ende eine Pull-Anfrage für Tensorflow/Modelle und Syntaxnet zusammenstellen, die das Ziel erreicht, Parsey McPareface von TF Serving zu dienen.

https://github.com/tensorflow/models/pull/250

Was nicht hier ist der eigentliche „dient“ Code, aber das ist relativ trivial im Vergleich zu der Arbeit, um die Probleme in der obigen Frage zu lösen.