Annotieren eines Korpus (Syntaxnet)

Question

Ich heruntergeladen und installiert SyntaxNet folgende Syntax official documentation on Github. Nach der Dokumentation (annotierende Korpus) habe ich versucht, eine .conll Datei mit dem Namen wj.conll von SyntaxNet zu lesen und die Ergebnisse in wj-tagged.conll schreiben, aber ich konnte nicht. Meine Fragen sind:

1. hat SyntaxNet immer .conll Dateien liest? (nicht .txt Dateien?). Ich war ein wenig verwirrt, da ich wusste, SyntaxNet liest .conll Datei für Training und Testprozess, aber ich bin ein bisschen verdächtig, dass es notwendig ist, eine .txt Datei in .conll Datei zu konvertieren, um ihren Part Of Speech und Dependancy Parsing zu haben.

2. Wie kann ich SyntaxNet von Dateien liest (ich müde, alle Möglichkeiten erklären in GitHub Dokumentation über SyntaxNet und es hat bei mir nicht funktioniert)

Answer 1

Fügen Sie diese Erklärung Linien „context.pbtxt "Am Ende der Datei. Hier sind "inp" und "out" die Textdateien im Wurzelverzeichnis von syntexnet.

input { 
    name: 'inp_file' 
    record_format: 'english-text' 
    Part { 
    file_pattern: 'inp' 
    } 
    } 
    input { 
    name: 'out_file' 
    record_format: 'english-text' 
    Part { 
    file_pattern: 'out' 
    } 
    } 

hinzufügen Sätze der „inp“ Datei, für die Sie getan werden sollen Tagging und geben Sie sie in der Schale das nächste Mal laufen syntaxnet mit --input und --output Tags.

Nur um Ihnen ein bisschen mehr zu helfen, gebe ich einen Beispielshellbefehl ein.

bazel-bin/syntaxnet/parser_eval \ 
--input inp_file \ 
--output stdout-conll \ 
--model syntaxnet/models/parsey_mcparseface/tagger-params \ 
--task_context syntaxnet/models/parsey_mcparseface/context.pbtxt \ 
--hidden_layer_sizes 64 \ 
--arg_prefix brain_tagger \ 
--graph_builder structured \ 
--slim_model \ 
--batch_size 1024 | bazel-bin/syntaxnet/parser_eval \ 
--input stdout-conll \ 
--output out_file \ 
--hidden_layer_sizes 512,512 \ 
--arg_prefix brain_parser \ 
--graph_builder structured \ 
--task_context syntaxnet/models/parsey_mcparseface/context.pbtxt \ 
--model_path syntaxnet/models/parsey_mcparseface/parser-params \ 
--slim_model --batch_size 1024 

In dem obigen Skript wird die Ausgabe (POS-Tagging) des ersten Shell-Befehl verwendet als Eingang für den zweiten Shell-Befehl, in dem die beiden Schalen Befehle getrennt sind durch „|“

Answer 2

nur eine schnelle Hilfe, wenn Sie die Ausgabe der Demo in einer TXT-Datei gespeichert werden sollen:

versuchen echo "open file X with application Y" | ./demo.sh > output.txt es Ihnen Baum in das aktuellen Verzeichnis Satz gibt.