Wie kann ich Speicherlecks in meinem Python-Programm finden?

Question

Mögliche Duplizieren:
Python memory profiler

Ich habe eine ziemlich komplexe (etwa 20.000) Linie Python-Programm bekam die nach einiger Entwicklung begonnen hat, zunehmende Mengen an Speicher aufwendig, wenn es ausgeführt wird. Was sind die besten Werkzeuge und Techniken, um herauszufinden, wofür der gesamte Speicher verwendet wird?

Normalerweise kommt es darauf an, entweder Verweise auf Objekte oder Bugs von Erweiterungsmodulen zu behalten (was nicht besonders wahrscheinlich ist, da wir die Python 2.4-Installation eine Zeit lang benutzt haben).

Wir verwenden verschiedene Bibliotheken von Drittanbietern wie Twisted, Twisted Conch und MySQLdb.

Answer 1

Pythons Speicher wird von einem Garbage Collector verwaltet. Im Allgemeinen sollte es kein Problem mit Speicherleck geben (definitiv nicht für Python 2.5 und höher), es sei denn, Sie schreiben Erweiterungsmodul in C/C++. In diesem Fall könnte Valgrind (Blog post - http://bruynooghe.blogspot.com/2008/12/finding-memory-leaks-in-python.html) hilfreich sein. Ich habe festgestellt, dass diese Person - http://mg.pov.lt/blog/hunting-python-memleaks hat PDB und matplotlib verwendet, um ein Speicherleck zu verfolgen. Ich hoffe, das hilft, ich habe keine Erfahrung damit, Python-Speicherlecks zu beheben.

Answer 2

Im Allgemeinen ist das Schließen von Cursorn eine der häufigsten Arten von Speicherlecks. Der Garbage Collector kann die am Cursor beteiligten MySQL-Ressourcen nicht sehen. MySQL weiß nicht, dass die Python-Seite veröffentlicht wurde, es sei denn, die Methode close() wird explizit aufgerufen.

Faustregel. Öffnen Sie, verwenden Sie und schließen Sie Cursor in einer kurzen Codespanne, die Sie verwalten können.