Liste der "Tokens" auf Lucene 3

Question

Ich bin neu in Lucene, ich habe angefangen, die Version 3 zu lernen und es gibt eine Sache, die ich nicht verstehe (offensichtlich, weil ich nicht in dem Thema erfahren bin).

In Lucene 2.9, wenn ich eine Liste von Token wollte ich würde eine ArrayList der Tokenklasse, ArrayList zum Beispiel erstellen. Das ist ziemlich intuitiv für mich und das Konzept von Token ist sehr klar.

Nun, da die Verwendung der Tokenklasse zugunsten der Attribut-basierten API aufgehoben wird, muss ich meine eigene Klasse erstellen, um die gewünschten Attribute zu kapseln? Wenn ja, stellt das nicht die Lukene-Token-Klasse wieder her?

Ich mache eine Klasse, um Analysatoren zu testen, und eine Liste von resultierenden Tokens zu haben, macht es einfacher zu testen, schätze ich.

Jede Hilfe wäre willkommen;) Vielen Dank!

Answer 1

Nach Die Token Javadoc, "Obwohl es nicht notwendig ist Damit Token nicht mehr verwendet werden kann, kann es mit der neuen TokenStream-API als Convenience-Klasse verwendet werden, die alle Attribute implementiert. Dies ist besonders hilfreich, um einfach von der alten zur neuen TokenStream-API zu wechseln. "

Ich schlage vor, Sie verwenden weiterhin ein Token. Es entspricht der obigen Beschreibung.

Answer 2

Ich glaube, Sie so etwas tun kann:

TokenStream tkst = analyzer.tokenStream("field", "text");
Token token = tkst.getAttribute(Token.class);
while (tkst.incrementToken()) {
// Do something with token.
}

Die richtige Dokumentation ist in der Analyse-Paket: http://lucene.apache.org/java/3_0_2/api/all/org/apache/lucene/analysis/package-summary.html

Answer 3

Verwenden Sie die TermAttribute Klasse:

TokenStream stream = analyzer.tokenStream("field", "text"); 
TermAttribute termAttr = stream.getAttribute(TermAttribute.class); 
while (stream.incrementToken()) { 
    String token = termAttr.term(); 
}