Große Abfragezeit für Analysezwecke

Question

Ich analysiere eine 50 GB (16M Zeilen, 15 Spalten) Tabelle mit PostgreSQL 9.4 nur ausgewählte Abfragen verwenden (keine Einfügung \ Updates). Mein Server hat 4 virtuelle Sockets und 16 GB RAM. Eine typische Abfrage ich verwende:

select y,count(z) from table where x in (select * from verySmallTable) group by y; 

Das Ergebnis der Abfrage werden zu einem Python-Skript füttern.

Ich habe versucht, verschiedene Indizes zu erstellen, aber noch kann jede Abfrage 15 Minuten dauern. Darüber hinaus ist die Optimierung der Datenbank zeitaufwendig.

Auf der anderen Seite verwende ich Tableau (mit Datenextrakt), um ähnliche Informationen abzurufen und ein Ergebnis in weniger als einer Minute zu erhalten. Daraus schließe ich, dass solche Analyseabfragen mit der richtigen Struktur (automatisch erstellt) sehr schnell ausgeführt werden können.

Ich bin auf der Suche nach einer Möglichkeit, die Abfrage Laufzeit zu reduzieren, mit PostgreSQL (ich habe auch Oracle-Lizenz), oder eine andere Open-Source-DB oder sogar eine lokale Lösung in Python, die ich die Daten laden kann in, ohne die Struktur für jede Abfrage optimieren zu müssen.

Answer 1

Lassen Sie mich nehme an, dies ist Ihre Abfrage:

select t.y, count(t.z) 
from table t 
where t.x in (select vst.x from verySmallTable vst) 
group by t.y; 

Und dass der x Wert in dem kleinen Tisch einzigartig sind. Ich würde vorschlagen, die Abfrage wie das Schreiben:

select t.y, count(t.z) 
from verySmallTable vst join 
    table t 
    on t.x = vst.x 
group by t.y; 

Dazu wollen Sie einen Index für table(x, y, z) - mit den Spalten in dieser Reihenfolge.