Lucene IndexWriter langsam, um Dokumente hinzuzufügen

Question

Ich schrieb eine kleine Schleife, die 10.000 Dokumente in den IndexWriter hinzugefügt und es dauerte für immer, es zu tun.

Gibt es eine andere Möglichkeit, große Mengen von Dokumenten zu indizieren?

Ich frage, denn wenn es live geht, muss es 15.000 Datensätze laden.

Die andere Frage ist, wie verhindere ich, dass alle Datensätze erneut geladen werden müssen, wenn die Webanwendung neu gestartet wird?

bearbeiten

Hier ist der Code i verwendet wird;

for (int t = 0; t < 10000; t++){ 
    doc = new Document(); 
    text = "Value" + t.toString(); 
    doc.Add(new Field("Value", text, Field.Store.YES, Field.Index.TOKENIZED)); 
    iwriter.AddDocument(doc); 
}; 

bearbeiten 2

 Analyzer analyzer = new StandardAnalyzer(); 
     Directory directory = new RAMDirectory(); 

     IndexWriter iwriter = new IndexWriter(directory, analyzer, true); 

     iwriter.SetMaxFieldLength(25000); 

dann der Code die Dokumente hinzufügen, dann;

 iwriter.Close(); 

Answer 1

Nur Überprüfung, aber Sie haben nicht den Debugger angeschlossen, wenn Sie es ausgeführt haben Sie?

Dies beeinträchtigt die Leistung beim Hinzufügen von Dokumenten erheblich.

Auf meinem Rechner (Lucene 2.0.0.4):

mit Plattform Ziel x86 Bebaut:

• Keine Debugger - 5,2 Sekunden

• Debugger angebracht - 113,8 Sekunden

Errichtet mit Plattformziel x64:

• Keine Debugger - 6,0 Sekunden

• Debugger angebracht - 171,4 Sekunden

Raute Beispiel des Sparens und einen Index zu und von einem RAMDirectory Laden:

const int DocumentCount = 10 * 1000; 
const string IndexFilePath = @"X:\Temp\tmp.idx"; 

Analyzer analyzer = new StandardAnalyzer(); 
Directory ramDirectory = new RAMDirectory(); 

IndexWriter indexWriter = new IndexWriter(ramDirectory, analyzer, true); 

for (int i = 0; i < DocumentCount; i++) 
{ 
    Document doc = new Document(); 
    string text = "Value" + i; 
    doc.Add(new Field("Value", text, Field.Store.YES, Field.Index.TOKENIZED)); 
    indexWriter.AddDocument(doc); 
} 

indexWriter.Close(); 

//Save index 
FSDirectory fileDirectory = FSDirectory.GetDirectory(IndexFilePath, true); 
IndexWriter fileIndexWriter = new IndexWriter(fileDirectory, analyzer, true); 
fileIndexWriter.AddIndexes(new[] { ramDirectory }); 
fileIndexWriter.Close(); 

//Load index 
FSDirectory newFileDirectory = FSDirectory.GetDirectory(IndexFilePath, false); 
Directory newRamDirectory = new RAMDirectory(); 
IndexWriter newIndexWriter = new IndexWriter(newRamDirectory, analyzer, true); 
newIndexWriter.AddIndexes(new[] { newFileDirectory }); 

Console.WriteLine("New index writer document count:{0}.", newIndexWriter.DocCount()); 

Answer 2

Sie sollte dies tun, um die beste Leistung zu erzielen.auf meinem Rechner habe ich die Indizierung 1000 Dokument in 1 Sekunde

1) Sie sollten (Dokument wiederverwenden, Feld) nicht jedes Mal, wenn Sie fügen Sie ein Dokument wie diese

private static void IndexingThread(object contextObj) 
{ 
    Range<int> range = (Range<int>)contextObj; 
    Document newDoc = new Document(); 
    newDoc.Add(new Field("title", "", Field.Store.NO, Field.Index.ANALYZED)); 
    newDoc.Add(new Field("body", "", Field.Store.NO, Field.Index.ANALYZED)); 
    newDoc.Add(new Field("newsdate", "", Field.Store.YES, Field.Index.NOT_ANALYZED_NO_NORMS)); 
    newDoc.Add(new Field("id", "", Field.Store.YES, Field.Index.NOT_ANALYZED_NO_NORMS)); 

    for (int counter = range.Start; counter <= range.End; counter++) 
    { 
     newDoc.GetField("title").SetValue(Entities[counter].Title); 
     newDoc.GetField("body").SetValue(Entities[counter].Body); 
     newDoc.GetField("newsdate").SetValue(Entities[counter].NewsDate); 
     newDoc.GetField("id").SetValue(Entities[counter].ID.ToString()); 

     writer.AddDocument(newDoc); 
    } 
} 

Danach Erstellen Sie Threading verwenden könnten und brechen Sie Ihre große Sammlung in kleinere, und für jeden Abschnitt zum Beispiel den obigen Code verwenden, wenn Sie 10.000 Dokument haben Sie 10 Gewinde mit Threadpool erstellen und füttern jeden Abschnitt ein Thread für die Indizierung

Dann gewinnen Sie die beste Leistung.