Abfrage firebird slow order von/distinct

Question

Ich habe ein Problem mit der Geschwindigkeit einer Abfrage in Firebird. Die Langsamkeit ist in der Sortierung und deutlich.

Wenn ich die Abfrage in MySQL versuche, dann ist er eine Sekunde schneller.

Firebird -> 1,3s ein 1,6s MySQL -> 0,3s eine 0,4s

Wir haben die Firebird-Datenbank auf einem Webserver/Website, so dass die Geschwindigkeit ist wichtig.

Spezifikation: - Firebird 2.5.1 oder 2.5.2 (Superclassic) 64 Bits - 2,13 Ghz (2 Prozessoren) - RAM 4,00 GB

Was kann ich tun?

Ich habe die folgenden Tabellen:

==================================== ================

CREATE TABLE ARTICLE3_1 
(
    IDARTICLE Integer NOT NULL, 
    ITEMSTATUS Integer, 
    ITEMENTRYDATE Integer, 
    ITEMFILTER Integer, 
    ARTIKELNUMMER Varchar(250), 
    ARTIKELNAAM1 Varchar(250), 
    ARTIKELNAAM2 Varchar(250), 
    OMSCHRIJVING_DETAIL Blob sub_type 1, 
    OMSCHRIJVING1 Varchar(250), 
    OMSCHRIJVING2 Varchar(250), 
    ARTIKELNR_LEVERANCIER Varchar(250), 
    MERK Varchar(250), 
    LEVERANCIER Varchar(250), 
    EAN Varchar(250), 
    LINKAANGROEP Varchar(250), 
    LINKAANAANBIEDINGGROEP Varchar(250), 
    LINKAANPOPULAIRGROEP Varchar(250), 
    LINKAANART Varchar(250), 
    ARTGRPNR Varchar(250), 
    SUBGROEP Varchar(250), 
    PRIJSPER Integer, 
    VERKOOPPRIJS Float, 
    ADVIESPRIJS Float, 
    BTWPERC Float, 
    ONLINE Varchar(250), 
    TUSGROEPBIJLINK Varchar(250), 
    AFBEELDINGKLEIN Varchar(250), 
    AFBEELDINGMIDDEL Varchar(250), 
    AFBEELDINGGROOT Varchar(250), 
    ICECATLINK Varchar(250), 
    LINKAANHOMEPAGEGROEP Varchar(250), 
    LINKAANMIJNACCOUNTGROEP Varchar(250), 
    SORTEER Varchar(250), 
    AFBEELDING Varchar(100), 
    FLASH Blob sub_type 1, 
    EENHEID Varchar(250), 
    ALTARTNR1 Varchar(250), 
    ALTARTNR2 Varchar(250), 
    BESTELLENPER Float, 
    INFEED Varchar(250), 
    GOOGLE_TAXONOMIE Varchar(250), 
    FEED_TITEL Varchar(250), 
    FEED_OMSCHRIJVING Blob sub_type 1, 
    PRIMARY KEY (IDARTICLE) 
); 
CREATE INDEX IDX_ARTICLE3_1_2 ON ARTICLE3_1 (MERK); 
CREATE INDEX IDX_ARTICLE3_1_3 ON ARTICLE3_1 (ARTIKELNUMMER); 
CREATE INDEX IDX_ARTICLE3_1_4 ON ARTICLE3_1 (ARTIKELNR_LEVERANCIER); 
CREATE INDEX IDX_ARTICLE3_1_5 ON ARTICLE3_1 (ALTARTNR2); 
CREATE INDEX IDX_ARTICLE3_1_6 ON ARTICLE3_1 (ARTIKELNAAM1); 
CREATE INDEX IDX_ARTICLE3_1_7 ON ARTICLE3_1 (EAN); 

    CREATE TABLE TREE3 
(
    IDLINK Integer NOT NULL, 
    LINKTYPE Integer, 
    IDITEM Integer, 
    ITEMTYPE Integer, 
    IDTARGETLINK Integer, 
    NODEPOSITION Integer, 
    NODELEVEL Integer, 
    IDLAYOUTDATA Integer, 
    IDTEMPLATE Integer, 
    ACTIONDATE Integer, 
    MARKET1 Integer, 
    PRIMARY KEY (IDLINK) 
); 
CREATE INDEX IDX_TREE3_2 ON TREE3 (IDITEM); 
CREATE INDEX IDX_TREE3_3 ON TREE3 (MARKET1); 
CREATE INDEX ITREE13 ON TREE3 (IDTARGETLINK,NODEPOSITION); 
CREATE INDEX ITREE53 ON TREE3 (IDITEM,ITEMTYPE); 

==================================================== 

Die Abfrage in Firebird:

SELECT FIRST 30 SKIP 0 distinct tr.IdLink, tr.IdTargetLink, tr.IdItem, tr.NodePosition 
FROM Tree3 tr 
inner join article3_1 art on art.idarticle = Tr.iditem 
WHERE tr.ItemType = 2 AND tr.Market1 = 1 
AND ((art.IDARTICLE > 0) AND ( (LOWER(art.Artikelnummer) like '%a4 papier%') OR ((LOWER(art.Artikelnummer) like 'a4') 
AND (LOWER(art.Artikelnummer) like 'papier')) OR (LOWER(art.Artikelnaam1) like '%a4 papier%') OR ((LOWER(art.Artikelnaam1) like '%a4%') 
AND (LOWER(art.Artikelnaam1) like '%papier%')) OR (LOWER(art.Artikelnaam2) like '%a4 papier%') OR ((LOWER(art.Artikelnaam2) like '%a4%') 
AND (LOWER(art.Artikelnaam2) like '%papier%')) OR (LOWER(art.Artikelnr_leverancier) like '%a4 papier%') OR ((LOWER(art.Artikelnr_leverancier) like '%a4%') 
AND (LOWER(art.Artikelnr_leverancier) like '%papier%')) OR (LOWER(art.Merk) like '%a4 papier%') OR ((LOWER(art.Merk) like '%a4%') 
AND (LOWER(art.Merk) like '%papier%')) OR (LOWER(art.EAN) like '%a4 papier%') OR ((LOWER(art.EAN) like '%a4%') 
AND (LOWER(art.EAN) like '%papier%')) OR (LOWER(art.AltArtnr1) like '%a4 papier%') OR ((LOWER(art.AltArtnr1) like '%a4%') 
AND (LOWER(art.AltArtnr1) like '%papier%')) OR (LOWER(art.AltArtnr2) like '%a4 papier%') OR ((LOWER(art.AltArtnr2) like '%a4%') 
AND (LOWER(art.AltArtnr2) like '%papier%')))) 
AND tr.NODELEVEL =5 and tr.LINKTYPE <> 5 
ORDER BY tr.NodePosition 

Die Abfrage in MySQL:

SELECT distinct tr.IdLink, tr.IdTargetLink, tr.IdItem, tr.NodePosition 
FROM Tree3 tr 
inner join article3_1 art on art.idarticle = Tr.iditem 
WHERE tr.ItemType = 2 AND tr.Market1 = 1 
AND ((art.IDARTICLE > 0) AND ( (LCASE(art.Artikelnummer) like '%a4 papier%') OR ((LCASE(art.Artikelnummer) like 'a4') 
AND (LCASE(art.Artikelnummer) like 'papier')) OR (LCASE(art.Artikelnaam1) like '%a4 papier%') OR ((LCASE(art.Artikelnaam1) like '%a4%') 
AND (LCASE(art.Artikelnaam1) like '%papier%')) OR (LCASE(art.Artikelnaam2) like '%a4 papier%') OR ((LCASE(art.Artikelnaam2) like '%a4%') 
AND (LCASE(art.Artikelnaam2) like '%papier%')) OR (LCASE(art.Artikelnr_leverancier) like '%a4 papier%') OR ((LCASE(art.Artikelnr_leverancier) like '%a4%') 
AND (LCASE(art.Artikelnr_leverancier) like '%papier%')) OR (LCASE(art.Merk) like '%a4 papier%') OR ((LCASE(art.Merk) like '%a4%') 
AND (LCASE(art.Merk) like '%papier%')) OR (LCASE(art.EAN) like '%a4 papier%') OR ((LCASE(art.EAN) like '%a4%') 
AND (LCASE(art.EAN) like '%papier%')) OR (LCASE(art.AltArtnr1) like '%a4 papier%') OR ((LCASE(art.AltArtnr1) like '%a4%') 
AND (LCASE(art.AltArtnr1) like '%papier%')) OR (LCASE(art.AltArtnr2) like '%a4 papier%') OR ((LCASE(art.AltArtnr2) like '%a4%') 
AND (LCASE(art.AltArtnr2) like '%papier%')))) 
AND tr.NODELEVEL =5 and tr.LINKTYPE <> 5 
ORDER BY tr.NodePosition LIMIT 30; 

================================================= ===

ich habe die Abfrage mit Flamerobin ausgeführt:

> Prepare time: 0.016s Field #01: TREE3.IDLINK Alias:IDLINK Type:INTEGER 
> Field #02: TREE3.IDTARGETLINK Alias:IDTARGETLINK Type:INTEGER Field 
> #03: TREE3.IDITEM Alias:IDITEM Type:INTEGER Field #04: TREE3.NODEPOSITION Alias:NODEPOSITION Type:INTEGER PLAN SORT (SORT 
> (JOIN (TR INDEX (IDX_TREE3_2, IDX_TREE3_3), ART INDEX 
> (RDB$PRIMARY2)))) 
> 
> 873424 fetches, 0 marks, 12892 reads, 0 writes. 0 inserts, 0 updates, 
> 0 deletes, 380580 index, 0 seq. Delta memory: 1784 bytes. Total 
> execution time: 1.311s 

Thank you!

Answer 1

Das mag jetzt ein bisschen alt sein, aber hoffentlich kann es immer noch hilfreich sein.

Im Allgemeinen erfordern unterschiedliche und Reihenfolge für Operationen sortieren. Sortierungen werden durch Indizes unterstützt. Erwägen Sie, Indizes für die Spalten zu erstellen, die in der by-Klausel - NodePosition angegeben sind. Der einzige andere Index, den ich sehen kann, ist mit einer anderen Spalte zusammengesetzt, so dass der Index von der Reihenfolge nicht berücksichtigt wird. Bei distinct können Sie versuchen, einen zusammengesetzten Index für die Spalten tr.IdLink, tr.IdTargetLink, tr.IdItem, tr.NodePosition oder jede einzeln zu erstellen. (Ich bin mir nicht sicher, wie stark distinct Indizes helfen würden, aber einen Versuch wert).

Andere Dinge zu beachten: Ihre Where-Klausel verwendet Funktionen - Funktionen, wenn sie in diesem Zusammenhang verwendet werden, führt zu vollständigen Table Scans und möglicherweise nicht einmal Ihre Indizes. Ich glaube nicht, dass mySql funktionsbasierte Indizes unterstützt, nicht sicher über FireBird. Es kann jedoch umgangen werden, indem eine weitere Spalte erstellt wird, die das Ergebnis der Spalte LOWER (Spalte) enthalten kann. Sie müssen diese Spalte mithilfe von Triggern verwalten, falls verfügbar.

OR-Bedingung und LIKE '% a4%' wird auch zu vollständigen Tabellen-Scans führen. Ich bin mir bewusst, dass es Ihre Geschäftslogik nicht erlaubt, das Platzhalterzeichen vom Anfang der Zeichenfolge '% a4%' zu löschen, um möglicherweise solche Anwendungsfälle zu verbessern. Sie können Unterabfragen in Betracht ziehen. Versuchen Sie zunächst, die Ergebnismenge einzugrenzen In der Unterabfrage ist es möglich, LIKE oder OR zu vermeiden und dieses Ergebnis dann mit einer übergeordneten Abfrage zu umbrechen, die die Ergebnisse weiter filtert (Unterabfrage in die FROM-Klausel). In Ihrer Unterabfrage hätten Sie also folgende Bedingungen: tr.ItemType = 2 UND tr.Market1 = 1 und tr.NODELEVEL = 5 und tr.LINKTYPE <> 5

Answer 2

Yip DISTINCT vermeiden und wie, wenn Sie können, DISTINCT Optimierung http://dev.mysql.com/doc/refman/5.0/en/distinct-optimization.html

eine verschachtelte Abfrage mit Gruppe Versuchen durch, anstatt deutlich. Ich benutze dies, um das Problem bei der Verwendung von Gruppen durch & um zu umgehen.

select * from ({the rest of the query}) as some_table group by {my distinct column};

Auch kann ich sehen, Tisch Motor nicht, aber MyIsam ist besser für die Volltextsuche (statt InnoDB). Es lohnt sich auch, sich Solr für die Volltextsuche anzuschauen. Ein bisschen eine Lernkurve zu erstellen, aber Sie können mysql-Tabellen indizieren und dann Teilübereinstimmungen über mehrere Spalten hinweg durchführen. Mit Dingen wie Steigerung und Ehrfurcht.

Sehen Sie, ob die unten stehende Abfrage irgendwelche Leistungsvorteile hat.

select * from (SELECT tr.IdLink, tr.IdTargetLink, tr.IdItem, tr.NodePosition 
FROM Tree3 tr 
inner join article3_1 art on art.idarticle = Tr.iditem 
WHERE tr.ItemType = 2 AND tr.Market1 = 1 
AND ((art.IDARTICLE > 0) AND ( (LCASE(art.Artikelnummer) like '%a4 papier%') OR (
(LCASE(art.Artikelnummer) like 'a4') 
AND (LCASE(art.Artikelnummer) like 'papier')) OR (LCASE(art.Artikelnaam1) like '%a4 papier%') OR ((LCASE(art.Artikelnaam1) like '%a4%') 
AND (LCASE(art.Artikelnaam1) like '%papier%')) OR (LCASE(art.Artikelnaam2) like '%a4 papier%') OR ((LCASE(art.Artikelnaam2) like '%a4%') 
AND (LCASE(art.Artikelnaam2) like '%papier%')) OR (LCASE(art.Artikelnr_leverancier) 
like '%a4 papier%') OR ((LCASE(art.Artikelnr_leverancier) like '%a4%') 
AND (LCASE(art.Artikelnr_leverancier) like '%papier%')) OR (LCASE(art.Merk) like '%a4 papier%') OR ((LCASE(art.Merk) like '%a4%') 
AND (LCASE(art.Merk) like '%papier%')) OR (LCASE(art.EAN) like '%a4 papier%') OR (
(LCASE(art.EAN) like '%a4%') 
AND (LCASE(art.EAN) like '%papier%')) OR (LCASE(art.AltArtnr1) like '%a4 papier%') OR  
((LCASE(art.AltArtnr1) like '%a4%') 
AND (LCASE(art.AltArtnr1) like '%papier%')) OR (LCASE(art.AltArtnr2) like '%a4 papier%') OR ((LCASE(art.AltArtnr2) like '%a4%') 
AND (LCASE(art.AltArtnr2) like '%papier%')))) 
AND tr.NODELEVEL =5 and tr.LINKTYPE <> 5 
ORDER BY tr.NodePosition LIMIT 30) 
as some_table group by IdLink;