verschiedene vs Gruppe, durch die besser

Question

für den einfachsten Fall, dass wir alle zu verweisen:

select id from mytbl 
group by id 

und

select distinct id from mytbl 

wie wir wissen, sie erzeugen gleiche Abfrage-Plan, die in einigen wiederholt erwähnt worden Artikel wie Which is better: Distinct or Group By

In Bienenstock hat jedoch erstere nur eine Aufgabe zu reduzieren, während letztere viele hat.

Aus Experimenten habe ich festgestellt, dass die GROUP BY 10 + mal schneller als DISTINCT ist.

Sie sind anders.

Also, was ich gelernt habe, ist:

GROUP-BY ohnehin nicht schlechter als DISTINCT ist, und es ist manchmal besser.

Ich möchte wissen:

. Wenn diese Schlussfolgerung zutrifft.

. Wenn das stimmt, werde ich DISTINCT als einen Ansatz für logische Bequemlichkeit betrachten, aber warum nimmt DISTINCT nicht die bessere Implementierung von GROUP-BY?

. Wenn es falsch ist, wäre ich sehr gespannt auf seine anständige Verwendung unter Big-Data-Situation.

Vielen Dank !! :)

Answer 1

Ihre Erfahrung ist interessant. Ich habe den einzigen Reduktionseffekt für distinct gegenüber group by nicht gesehen. Vielleicht gibt es einen kleinen Unterschied im Optimierer zwischen den beiden Konstrukten.

A "Hervorragend" in Beispiel Bienenstock ist:

select count(distinct id) 
from mytbl; 

Vergleich

select count(*) 
from (select distinct id 
     from mytbl 
    ) t; 

Erstere verwendet nur ein Reduzierstück und das letztere arbeitet parallel. Ich habe dies sowohl in meiner Erfahrung gesehen, als auch dokumentiert und diskutiert (zum Beispiel auf den Folien 26 und 27 in dieser). So kann distinct definitiv die Parallelität ausnutzen.

Ich stelle mir vor, dass wenn Hive reift, solche Probleme behoben werden. Es ist jedoch ironisch, dass Postgres ein ähnliches Performance-Problem mit COUNT(DISTINCT) hat, obwohl ich denke, dass der zugrunde liegende Grund ein bisschen anders ist.