Wenn Profiler nicht die Antwort ist, welche anderen Möglichkeiten haben wir?

Question

Nachdem ich die Präsentation "Performance Angst" von Joshua Bloch gesehen hatte, las ich das Papier, das er in der Präsentation "Evaluating the Accuracy of Java Profilers" vorgeschlagen hatte. Unter Angabe der Schlussfolgerung:

Unsere Ergebnisse störend sind, weil sie das Pro fi ler Unrichtigkeit anzuzeigen ist allgegenwärtig vorkommende in den meisten unserer sieben Benchmarks und in zwei Produktions JVM - und signifikante-alle vier die state-of-the -art-pro fi ler erzeugen falsche pro fi le. Falsche Pro fi le können leicht dazu führen, dass ein Performance-Analyst Zeit damit verbringt, kalte Methoden zu optimieren, die sich nur minimal auf die Leistung auswirken. Wir zeigen, dass ein Proof-of-Concept-Pro fi ler, die nicht Ertrag nicht aus den oben genannten Probleme nicht verwendet Punkte für die Probenahme leiden

Der Abschluss des Papiers ist, dass wir nicht wirklich das Ergebnis der Profilometer glauben kann. Aber was ist die Alternative zur Verwendung von Profilern? Sollten wir zurückgehen und unser Gefühl nur für die Optimierung nutzen?

UPDATE: Ein Punkt, der in der Diskussion zu übersehen scheint, ist Beobachter Effekt. Können wir einen Profiler bauen, der wirklich 'Beobachter Effekt' -free?

Answer 1

Oh Mann, wo soll ich anfangen?

Zuerst bin ich erstaunt, dass dies Nachrichten sind. Zweitens ist das Problem nicht, dass Profiler schlecht sind, ist es einige Profiler sind schlecht. Die Autoren bauten eine, die ihrer Meinung nach gut ist, indem sie nur einige der Fehler vermeiden, die sie in den von ihnen bewerteten gefunden haben. Fehler sind häufig wegen einiger hartnäckiger myths about performance profiling.

Aber lassen Sie uns positiv sein. Will man Möglichkeiten für Speedup finden, es ist wirklich sehr einfach:

• Sampling unkorreliert mit dem Zustand des Programms sein sollte.
  Das geschieht zu einer wirklich zufälligen Zeit, unabhängig davon, ob das Programm in I/O (außer Benutzereingabe) oder in GC oder in einer engen CPU-Schleife oder was auch immer ist.

• Probenahme soll liest den Funktionsaufruf Stapel,
  , um zu bestimmen, welche Anweisungen zum Zeitpunkt der Probe „aktiv“ waren. Der Grund ist, dass jede Aufrufstelle (Punkt, an dem eine Funktion aufgerufen wird) einen Prozentsatz hat, der dem Bruchteil der Zeit entspricht, die sie auf dem Stapel ist. (Anmerkung:.. Das Papier betrifft ganz selbst Zeit, die massiven Auswirkungen vermeidbar Funktion ignoriert in großer Software rufen in der Tat der Grund hinter den ursprünglichen gprof diese Anrufe zu helfen, war zu finden)

• Berichterstattung soll zeigen Prozent nach Zeile (nicht nach Funktion).
  Wenn eine "hot" -Funktion identifiziert wird, muss man immer noch darin nach den "heißen" Codezeilen suchen, die für die Zeit verantwortlich sind. Diese Information ist in den Beispielen! Warum verstecken Sie es? mit einer Genauigkeit von Messung, und nicht genug mit einer Genauigkeit von Lage

Eine fast universelle Fehler (, dass die Papieranteile) ist zu viel Beunruhigung. Hier ist zum Beispiel ein example of performance tuning , in dem eine Reihe von Leistungsproblemen identifiziert und behoben wurden, was eine kumulierte Beschleunigung von 43 Mal ergab. Es war nicht wichtig, die Größe jedes Problems genau zu kennen, bevor es repariert wurde, sondern seinen Standort zu kennen. Ein Phänomen der Leistungsoptimierung besteht darin, dass die Behebung eines Problems durch die Reduzierung der Zeit die Prozentsätze der verbleibenden Probleme vergrößert, sodass sie leichter zu finden sind. Solange irgendein Problem gefunden und behoben wird, wird Fortschritt in Richtung auf das Ziel gemacht, alle Probleme zu finden und zu beheben. Es ist nicht notwendig, sie in abnehmender Reihenfolge zu korrigieren, aber es ist wichtig, sie genau zu bestimmen.

Zum Thema statistische Genauigkeit der Messung, wenn ein Aufruf Punkt auf dem Stapel ist einige Prozent der Zeit F (wie 20%) und N (wie 100) zufällige Zeit Proben genommen werden, dann die Anzahl der Proben Das zeigt, dass der Aufrufpunkt eine Binomialverteilung ist, mit Mittelwert = NF = 20, Standardabweichung = sqrt (NF (1-F)) = sqrt (16) = 4. Der Prozentsatz der Proben, die ihn anzeigen, beträgt also 20%/- 4%. Also ist das genau? Nicht wirklich, aber ist das Problem gefunden worden? Genau.

In der Tat, je größer ein Problem ist, in Bezug auf Prozent, desto weniger Proben werden benötigt, um es zu lokalisieren. Wenn zum Beispiel 3 Proben genommen werden und ein Anrufpunkt auf 2 von ihnen erscheint, ist es sehr wahrscheinlich sehr teuer. (Konkret, es folgt eine Beta-Verteilung. Wenn Sie 4 einheitliche 0,1 Zufallszahlen generieren und sortieren, ist die Verteilung des dritten die Verteilung der Kosten für diesen Aufrufpunkt. Es ist meine ist (2 + 1)/(3 + 2) = 0.6, das sind also die erwarteten Einsparungen, wenn man diese Beispiele anführt.) INSERTED: Und der Beschleunigungsfaktor, den Sie erhalten, wird durch eine andere Verteilung, BetaPrime, und Durchschnitt ist 4. Also, wenn Sie nehmen 3 Proben, sehen ein Problem auf 2 von ihnen, und beseitigen Sie dieses Problem, im Durchschnitt werden Sie das Programm viermal schneller machen.

Es ist höchste Zeit, dass wir Programmierer beim Thema Profiling die Spinnweben aus dem Kopf rissen.

Disclaimer - die Zeitung konnte meinen Artikel nicht beziehen: Dunlavey, "Performance-Tuning mit Kosten auf Anweisungsebene, abgeleitet von Call-Stack-Sampling", ACM SIGPLAN Notices 42, 8 (August 2007), S. 4-8.

Answer 2

Es sei denn, Sie erstellen blutende Anwendungen, die jeden CPU-Zyklus benötigen, dann habe ich festgestellt, dass Profiler eine gute Möglichkeit sind, die 10% langsamsten Teile Ihres Codes zu finden. Als Entwickler würde ich argumentieren, dass alles, was Sie wirklich interessiert, in fast allen Fällen sein sollte.

Ich habe Erfahrung mit http://www.dynatrace.com/en/ und ich kann Ihnen sagen, dass es sehr gut darin ist, die niedrig hängenden Früchte zu finden.

Profiler sind wie jedes andere Werkzeug und sie haben ihre Macken, aber ich würde ihnen über einen Menschen jeden Tag vertrauen, um die Hotspots in Ihrer App zu finden.

Answer 3

Wenn Sie Profilern nicht vertrauen, können Sie in den Paranoia-Modus wechseln, indem Sie die aspektorientierte Programmierung verwenden, jede Methode in Ihrer Anwendung umschließen und dann einen Logger verwenden, um jeden Methodenaufruf zu protokollieren.

Ihre Anwendung wird wirklich langsamer, aber zumindest haben Sie eine genaue Anzahl, wie oft jede Methode aufgerufen wird. Wenn Sie auch sehen möchten, wie lange die einzelnen Methoden ausgeführt werden müssen, wenden Sie sich an jede Methode perf4j.

Nachdem Sie alle diese Statistiken in Textdateien gespeichert haben, verwenden Sie einige Werkzeuge, um alle notwendigen Informationen zu extrahieren und sie dann zu visualisieren. Ich schätze, das gibt Ihnen einen guten Überblick darüber, wie langsam Ihre Anwendung an bestimmten Orten ist.

Answer 4

Wenn ich es richtig gelesen habe, das Papier spricht nur über sample-based Profiling. Viele Profiler führen auch instrumentenbasierte Profilerstellung durch. Es ist viel langsamer und hat einige andere Probleme, aber es sollte nicht unter den Voreingenommenheiten leiden, über die das Papier spricht.

Der Abschluss des Papiers ist, dass wir können das Ergebnis von Profilometer nicht wirklich glauben. Aber dann, was ist die Alternative Profiler zu verwenden.

Nein.Die Schlussfolgerung des Papiers ist, dass die Messmethoden der aktuellen Profilierer spezifische Mängel aufweisen. Sie schlagen eine Lösung vor. Das Papier ist ziemlich neu. Ich würde erwarten, dass Profiler diesen Fix schließlich implementieren. Bis dahin ist sogar ein defekter Profiler immer noch viel besser als "Gefühl".

Answer 5

Eigentlich sind Sie besser auf Datenbankebene profilieren. Die meisten Unternehmensdatenbanken bieten die Möglichkeit, die häufigsten Abfragen über einen bestimmten Zeitraum hinweg anzuzeigen. Fangen Sie an, an diesen Abfragen zu arbeiten, bis die oberen weniger als 300 ms oder weniger sind und Sie große Fortschritte gemacht haben. Profiler sind nützlich, um das Verhalten des Heapspeichers zu zeigen und um blockierte Threads zu identifizieren, aber ich persönlich habe nie viel Erfahrung mit den Entwicklungsteams bei der Identifizierung von heißen Methoden oder großen Objekten gesammelt.