Gibt es Beispiele für Referenzen, wo setBuildParseTree = false?

Question

Ich benutze eine Antlr für einen einfachen CSV-Parser. Ich mag es auf einer 29gig-Datei verwenden, aber es läuft aus dem Speicher auf dem ANTLRInputStream Aufruf:

CharStream cs = new ANTLRInputStream(new BufferedInputStream(input,8192)); 
    CSVLexer lexer = new CSVLexer(cs); 
    CommonTokenStream tokens = new CommonTokenStream(lexer); 
    CSVParser parser = new CSVParser(tokens); 
    ParseTree tree = parser.file(); 
    ParseTreeWalker walker = new ParseTreeWalker(); 
    walker.walk(myListener, tree); 

Ich habe versucht, es zu ändern, um einen ungepufferten Stream

CharStream cs= new UnbufferedCharStream(input) 
    CSVLexer lexer = new CSVLexer(cs); 
    lexer.setTokenFactory(new CommonTokenFactory(true)); 
    TokenStream tokens = new UnbufferedTokenStream(lexer); 
    CSVParser parser = new CSVParser(tokens); 

zu sein, wenn ich laufe Die Funktion walker.walk() verarbeitet keine Datensätze. Wenn ich etwas wie

versuchen

Es schlägt auch fehl. Es sieht so aus, als müsste ich die Datei anders analysieren, wenn ich keinen Syntaxbaum erstelle, also würde ich gerne Dokumentation oder Beispiele dafür haben.

Wenn ich ungepufferten Char-Stream nicht verwende, aber ungepufferten Token-Stream verwende, gibt es einen Fehler: Ungepufferter Stream kann seine Größe nicht kennen. Ich habe verschiedene Permutationen ausprobiert, aber normalerweise gibt es einen Java-Heap-Fehler oder ein "GC-Overhead-Limit überschritten".

Ich verwende this csv grammar

Answer 1

antwortete ich bereits eine ähnliche Frage hier: https://stackoverflow.com/a/26120662/4094678

It seems like I have to parse the file differently if I don't build a parse tree, so I would like documentation or examples of how to do this.

Suchen Sie nach Grammatik Aktionen in antlr Buch - wie gesagt in der verknüpften Antwort, vergessen Zuhörer und Besucher und Aufbau eines Parse-Baumes. Auch wenn dies nicht genug ist, teilen Sie die Datei in eine Anzahl von kleineren und analysieren Sie dann jeden von ihnen.
Und natürlich, wie in den Kommentaren erwähnt erhöhen Java Vm-Speicher.