Wie zu optimieren golang Programm, das meiste Zeit in runtime.osyield und runtime.usleep

Question

Ich habe daran gearbeitet, Code zu optimieren, die soziale Grafikdaten analysiert (mit viel Hilfe von https://blog.golang.org/profiling-go-programs) und ich habe erfolgreich viele überarbeitet langsamer Code.

Alle Daten werden in den Speicher geladen von db erste und die Datenanalyse von dort erscheint CPU gebunden (max Speicherverbrauch < 10MB, CPU1 @ 100%)

Aber jetzt scheint die meiste Zeit meines Programms in zu sein runtime.osyield und runtime.usleep. Wie kann man das verhindern?

Ich habe GOMAXPROCS = 1 gesetzt und der Code spawnt keine goroutines (außer was die Golang-Bibliotheken anrufen).

Das ist mein top10 Ausgabe von pprof

(pprof) top10 
62550ms of 72360ms total (86.44%) 
Dropped 208 nodes (cum <= 361.80ms) 
Showing top 10 nodes out of 77 (cum >= 1040ms) 
     flat flat% sum%  cum cum% 
    20760ms 28.69% 28.69% 20850ms 28.81% runtime.osyield 
    14070ms 19.44% 48.13% 14080ms 19.46% runtime.usleep 
    11740ms 16.22% 64.36% 23100ms 31.92% _/C_/code/sc_proto/cloudgraph.(*Graph).LeafProb 
    6170ms 8.53% 72.89%  6170ms 8.53% runtime.memmove 
    4740ms 6.55% 79.44% 10660ms 14.73% runtime.typedslicecopy 
    2040ms 2.82% 82.26%  2040ms 2.82% _/C_/code/sc_proto.mAvg 
    890ms 1.23% 83.49%  1590ms 2.20% runtime.scanobject 
    770ms 1.06% 84.55%  1420ms 1.96% runtime.mallocgc 
    760ms 1.05% 85.60%  760ms 1.05% runtime.heapBitsForObject 
    610ms 0.84% 86.44%  1040ms 1.44% _/C_/code/sc_proto/cloudgraph.(*Node).DeepestChildren 
(pprof) 

Die _/C_/code/sc_proto/* Funktionen meinen Code sind.

Und die Ausgabe von web:

(besser, SVG Version von Graph hier: https://goo.gl/Tyc6X4)

Answer 1

die Antwort selbst gefunden, so dass ich bin Entsendung hier dies für alle anderen, die eine ist mit ähnliches Problem. Und ein besonderer Dank an @JimB, dass er mich auf den richtigen Weg geschickt hat.

Wie aus der Grafik ersichtlich, sind die Pfade, die zu osyield und usleep führen, Garbage-Collection-Routinen. Dieses Programm benutzte eine verkettete Liste, die viele Zeiger erzeugte, was eine Menge Arbeit für die GC erzeugte, die gelegentlich die Ausführung meines Codes blockierte, während sie mein Chaos beseitigte.

Letztendlich kam die Lösung für dieses Problem von https://software.intel.com/en-us/blogs/2014/05/10/debugging-performance-issues-in-go-programs (was eine tolle Ressource war). Ich folgte den Anweisungen zum Speicherprofiler dort; und die Empfehlung, Sammlungen von Zeigern mit Scheiben zu ersetzen, klärte meine Müllsammlungsprobleme auf, und mein Code ist jetzt viel schneller!