Batch Indizierung zu Solr

Question

Ich habe eine Java-Klasse, die HTTP-Post-Anforderungen an eine Solr-Instanz zum Indexieren von JSON-Dateien sendet. es ist multithread-implementiert. Ich habe jedoch festgestellt, dass das Senden von so vielen HTTP-Anfragen (fast 20.000) dazu führt, dass das Netzwerk ein Flaschenhals ist. Ich habe online gelesen, dass ich Batch-Indexierung durchführen kann, aber ich kann keine klaren Beispiele finden. Gibt es einen Hinweis zum Batch-Index solr?

Vielen Dank.

Answer 1

Für generische JSON müssen Sie eine Konfiguration irgendwo in solrconfig.xml haben, die definiert, wie es behandelt wird.

Einer der Parameter ist split. Sie können es möglicherweise verwenden, um Ihre JSON-Dokumente zu einer größeren zu kombinieren, die Solr separat aufteilen und verarbeiten würde. Beachten Sie, dass das spezifische Format für verschiedene Solr-Versionen ein wenig anders sein kann. Holen Sie sich die richtige Version der herunterladbaren Referenzanleitung PDF, wenn etwas nicht funktioniert.

Oder, wenn Sie es generieren können, verwenden Sie JSON format Solr understands directly und die vollständige Unterstützung für mehrere Dokumente.