Speicherverbrauch in Cherrypy

Question

Ich benutze Cherrypy in einem RESTful Web-Service und Server gibt XML als Ergebnis zurück (Lxml wird verwendet, um XML zu erstellen). Einige dieser XML-Dateien sind ziemlich groß. Ich habe bemerkt, dass Speicher nicht freigegeben wird, nachdem eine solche Anfrage (die Rückgabe von großem XML) verarbeitet wurde.

Also, ich habe ein Problem isoliert und diese sehr kurzes Blind Beispiel erstellt:

import cherrypy 
from lxml import etree 

class Server: 
    @cherrypy.expose 
    def index(self): 
     foo = etree.Element('foo') 
     for i in range(200000): 
      bar = etree.SubElement(foo, 'bar') 
      bar1 = etree.SubElement(bar, 'bar1') 
      bar1.text = "this is bar1 text ({0})".format(i) 
      bar2 = etree.SubElement(bar, 'bar2') 
      bar2.text = "this is bar2 text ({0})".format(i) 
      bar3 = etree.SubElement(bar, 'bar3') 
      bar3.text = "this is bar3 text ({0})".format(i) 
      bar4 = etree.SubElement(bar, 'bar4') 
      bar4.text = "this is bar4 text ({0})".format(i) 
      bar5 = etree.SubElement(bar, 'bar5') 
      bar5.text = "this is bar5 text ({0})".format(i) 

     return etree.tostring(foo, pretty_print=True) 

if __name__ == '__main__': 
    cherrypy.quickstart(Server()) 

Nach Anfrage wurde gemacht: http://localhost:8080/index, Speicherverbrauch geht von 830MB bis 1,2 GB. Dann, nachdem die Anfrage bearbeitet wurde, geht sie auf 1,1 GB herunter und bleibt dort, bis der Server heruntergefahren wird. Nach dem Herunterfahren des Servers sinkt der Speicherverbrauch auf 830 MB.

In meinem Projekt stammen Daten (natürlich) aus der Datenbank, und Parameter werden verwendet, um anzugeben, welche Daten abgerufen werden sollen. Wenn dieselbe Anfrage (mit denselben Parametern) gemacht wird, bleibt der Speicher bei 1,1 GB, d. H. Es wird kein zusätzlicher Speicher verwendet. Wenn jedoch verschiedene Parameter übergeben werden, verbraucht der Server immer mehr Speicher. Die einzige Möglichkeit, den Speicher freizugeben, besteht darin, den Server neu zu starten.

Haben Sie irgendwelche Ideen, warum dies geschieht und wie Sie es lösen können? Vielen Dank.

Answer 1

Dies ist ein generisches Python-Problem, nicht wirklich ein CherryPy an sich. effbot hat eine große Antwort auf diese Frage bei http://effbot.org/pyfaq/why-doesnt-python-release-the-memory-when-i-delete-a-large-object.htm

Und es gibt eine ähnliche SO mit einer großen Antwort auf Frage bei How can I explicitly free memory in Python?