Ich habe einen stündlichen Job, der Daten aus einer Datenbank in ElasticSearch indiziert, aber es scheint, als würde die Indizierung mehr als eine Stunde dauern.Was passiert, wenn Sie den ElasticSearch-Index ausführen, während der Index bereits ausgeführt wird?
Was passiert, wenn es eine zweite Indizierung gibt, während die andere noch läuft? Gibt es irgendwelche Probleme, die auftreten könnten?
Ich denke, diese Frage wenig verschwommen ...
Wenn in Ihrem Job bei der Indizierung Daten, die Sie nicht _id angeben werden - Sie Duplikate spawnen - es schreckliche Situation ist.
Aber wenn Sie _id angeben, werden Sie einfach dieselben Dokumente ein paar Mal neu indizieren - es ist nicht so schrecklich, aber es ist zusätzliche und unnötige Arbeit für Ihren Server.
Aber wenn Ihr Job viele Ressourcen (CPU, Speicher, etc) verbrauchen Sie möglicherweise Ihren Server überlasten ...
Nichts sollte passieren. Elasticsearch kann so einfach umgehen. Mein Rat wäre, von der anderen Seite auf dieses Problem zu schauen. Vielleicht wäre es besser, stattdessen die Synchronisierung zu verbessern. z.B. Registrieren Sie die Einfügevorgänge in die Warteschlange und skalieren Sie sie dann auf mehrere Worker. BTW verwenden Sie Bulk für Einfügen?
Nein, ich verwende keine Masse zum Einfügen. Würde das die Performance beim Einfügen verbessern? –
Sie sollten Bulk verwenden. Ohne es ist jede einzelne Operation separate HTTP-Anfrage. Mit Bulk können Sie 1000 Einträge in einer einzigen Anfrage einfügen oder aktualisieren. Überprüfen Sie diese https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html – saimaz
Ja, wir geben ID und es scheint nicht, Duplikate zu spawnen. Ich werde die Indizierung verbessern müssen, damit es keine unnötige Arbeit macht. –