Apache Lucene filtert keine Stoppwörter trotz der Verwendung von StopAnalyzer und StopFilter

Question

Ich habe ein Modul basierend auf Apache Lucene 5.5/6.0, die Schlüsselwörter abruft. Alles funktioniert gut außer einer Sache - Lucene filtert keine Stoppwörter.

Ich versuchte, Stop-Word-Filterung mit zwei verschiedenen Ansätzen zu ermöglichen.

Ansatz # 1:

tokenStream = new StopFilter(new ASCIIFoldingFilter(new ClassicFilter(new LowerCaseFilter(stdToken))), EnglishAnalyzer.getDefaultStopSet()); 
tokenStream.reset(); 

Ansatz # 2:

tokenStream = new StopFilter(new ClassicFilter(new LowerCaseFilter(stdToken)), StopAnalyzer.ENGLISH_STOP_WORDS_SET); 
tokenStream.reset(); 

Der vollständige Code ist hier verfügbar:
https://stackoverflow.com/a/36237769/462347

Meine Fragen:

1. Warum nicht Stoppwörter filtert?
2. Wie kann ich die Stoppwörter Filterung in Lucene 5.5/6.0 aktivieren?

Answer 1

Das Problem war, dass ich erwartet, dass die Standard Lucene 's Stoppwörter Liste viel breiter werden wird.

Hier ist der Code, die standardmäßig versucht, die angepasste Stop-Worte-Liste zu laden und wenn es verwendet ausgefallen ist dann der Standard ein:

CharArraySet stopWordsSet; 

try { 
    // use customized stop words list 
    String stopWordsDictionary = FileUtils.readFileToString(new File(%PATH_TO_FILE%)); 
    stopWordsSet = WordlistLoader.getWordSet(new StringReader(stopWordsDictionary)); 
} catch (FileNotFoundException e) { 
    // use standard stop words list 
    stopWordsSet = CharArraySet.copy(StandardAnalyzer.STOP_WORDS_SET); 
} 

tokenStream = new StopFilter(new ASCIIFoldingFilter(new ClassicFilter(new LowerCaseFilter(stdToken))), stopWordsSet); 
tokenStream.reset(); 

Answer 2

Gerade beide Ansatz 1 und Ansatz 2 getestet, und sie beide scheinen Stoppwörter ganz gut herauszufiltern. Hier ist, wie ich es getestet:

public static void main(String[] args) throws IOException, ParseException, org.apache.lucene.queryparser.surround.parser.ParseException 
{ 
    StandardTokenizer stdToken = new StandardTokenizer(); 
    stdToken.setReader(new StringReader("Some stuff that is in need of analysis")); 
    TokenStream tokenStream; 

    //You're code starts here 
    tokenStream = new StopFilter(new ASCIIFoldingFilter(new ClassicFilter(new LowerCaseFilter(stdToken))), EnglishAnalyzer.getDefaultStopSet()); 
    tokenStream.reset(); 
    //And ends here 

    CharTermAttribute token = tokenStream.getAttribute(CharTermAttribute.class); 
    while (tokenStream.incrementToken()) { 
     System.out.println(token.toString()); 
    } 
    tokenStream.close(); 
} 

Ergebnisse:

einige
Sachen
Notwendigkeit
Analyse

, die die vier Stoppwörter in meiner Probe beseitigt hat.