MongoDB-Aggregation so langsam wie MapReduce?

Question

Ich beginne gerade mit mongo db und versuche, ein paar einfache Dinge zu machen. Ich habe meine Datenbank mit einer Sammlung von Daten gefüllt, die die Eigenschaft "item" enthält. Ich wollte Zählung versuchen, wie viel Zeit jeder Artikel in der Sammlung

Beispiel eines Dokuments ist:

{ "_id" : ObjectId("50dadc38bbd7591082d920f0"), "item" : "Pons", "lines" : 37 } 

So entwarf ich diese beiden Funktionen für MapReduce tun (geschrieben in Python mit pymongo)

all_map = Code("function() {" 
      " emit(this.item, 1);" 
      "}") 

all_reduce = Code("function (key, values) {" 
        " var sum = 0;" 
        " values.forEach(function(value){" 
        "  sum += value;" 
        " });" 
        " return sum;" 
        "}") 

Dies funktionierte wie ein Charme, so begann ich die Sammlung zu füllen. Bei etwa 30.000 Dokumenten dauert der Mapreduce bereits länger als eine Sekunde ... Da NoSQL über Geschwindigkeit prahlt dachte ich, ich muss etwas getan haben falsch!

Eine Frage hier bei Stack Overflow ließ mich die Aggregation Feature von Mongodb überprüfen. Also habe ich versucht, die Gruppe + sum + sort things zu verwenden. Kam mit dieser:

db.wikipedia.aggregate(
{ $group: { _id: "$item", count: { $sum: 1 } } }, 
{ $sort: {count: 1} } 
) 

Dieser Code funktioniert gut und gibt mir die gleichen Ergebnisse wie der mapreduce Satz, aber es ist genauso langsam. Mache ich etwas falsch? Muss ich wirklich andere Werkzeuge wie hadoop verwenden, um eine bessere Leistung zu erhalten?

Answer 1

Ich werde eine Antwort im Grunde summieren meine Kommentare. Ich kann nicht für andere Techniker wie Hadoop sprechen, da ich noch nicht das Vergnügen hatte, Zeit für sie zu finden, aber ich kann für MongoDB sprechen.

Leider verwenden Sie zwei der schlechtesten Operatoren für jede Datenbank: berechnete Felder und Gruppierung (oder distinct) bei einem vollständigen Tabellenscan. Das Aggregationsframework muss in diesem Fall das Feld, die Gruppe und dann das In-Memory (http://docs.mongodb.org/manual/reference/aggregation/#_S_sort) berechnen, um das berechnete Feld zu sortieren. Dies ist eine äußerst ineffiziente Aufgabe für MongoDB, tatsächlich höchstwahrscheinlich irgendeine Datenbank.

Es gibt keine einfache Möglichkeit, dies in Echtzeit entsprechend Ihrer eigenen Anwendung zu tun. Map Reduce könnte ein Ausweg sein, wenn Sie die Ergebnisse nicht sofort zurückgeben müssten, aber da ich rate, dass Sie nicht wirklich auf diese Art von Zeug warten wollen, ist die Standardmethode nur, die Gruppe komplett auszurotten.

Sie können dies durch Voraggregation tun. So können Sie eine andere Sammlung von grouped_wikipedia erstellen und in Ihrer Anwendung verwalten Sie dies mit einem upsert() mit atomaren Operatoren wie $set und $inc (um die Vorkommen zu zählen), um sicherzustellen, dass Sie nur eine Zeile pro item erhalten. Dies ist wahrscheinlich die vernünftigste Methode, um dieses Problem zu lösen.

Dies wirft jedoch ein weiteres Problem der Verwaltung dieser zusätzlichen Sammlung neben der Detailkollektion wikipedia auf, aber ich glaube, dass dies ein unvermeidlicher Nebeneffekt davon ist, hier die richtige Leistung zu erzielen. Die Vorteile sind größer als der Verlust der zusätzlichen Sammlung.