Python C API, hohe Anzahl von Referenzen für neues Objekt

Question

Ich versuche nur zu verstehen, wie man mit den Referenzzählungen umgehen muss, wenn man die Python C API benutzt.

Ich möchte eine Python-Funktion in C++ nennen, wie folgt aus:

PyObject* script; 
PyObject* scriptRun; 
PyObject* scriptResult; 

// import module 
script = PyImport_ImportModule("pythonScript"); 
// get function objects 
scriptRun = PyObject_GetAttrString(script, "run"); 
// call function without/empty arguments 
scriptResult = PyObject_CallFunctionObjArgs(scriptRun, NULL); 

if (scriptResult == NULL) 
    cout << "scriptResult = null" << endl; 
else 
    cout << "scriptResult != null" << endl; 

cout << "print reference count: " << scriptResult->ob_refcnt << endl; 

Der Python-Code in pythonScript.py ist sehr einfach:

def run(): 
    return 1 

Die Dokumentation "PyObject_CallFunctionObjArgs" sagt, Sie erhalten eine neue Referenz als Rückgabewert. So würde ich „Script“ erwartet einen Referenzzähler von 1 zu haben, aber der Ausgang ist:

scriptResult != null 
print reference count: 72 

Außerdem würde ich einen Speicherverlust erwarten, wenn ich dies in einer Schleife tun würde, ohne den Referenzzähler abnimmt. Dies scheint jedoch nicht zu geschehen.

Könnte jemand mir helfen zu verstehen?

Mit freundlichen Grüßen!

Answer 1

Ecatmur ist richtig, Zahlen und Strings sind in Python interniert, also können Sie stattdessen mit einem einfachen object() Objekt versuchen.

Eine einfache Demo mit gc:

import gc 


def run(): 
    return 1 

s = run() 
print len(gc.get_referrers(s)) # prints a rather big number, 41 in my case 

obj = object() 
print len(gc.get_referrers(obj)) # prints 1 

lst = [obj] 
print len(gc.get_referrers(obj)) # prints 2 

lst = [] 
print len(gc.get_referrers(obj)) # prints 1 again 

---

Ein bisschen mehr: wenn CPython ein neues Objekt erstellt, ruft ein C Makro _Py_NewReference den Referenzzähler zu initialisieren 1. Dann Py_INCREF(op) und Py_DECREF(op) verwendet um die Referenzzahl zu erhöhen und zu verringern.

Answer 2

Die Verwirrung ist, dass kleine ganze Zahlen (auch True, False, None, Single-Zeichenketten, etc.) sind interniert ("is" operator behaves unexpectedly with integers), was bedeutet, dass überall dort, wo sie verwendet werden oder in einem Programm erhalten die Laufzeit wird versuchen, die gleiche Objektinstanz zu verwenden:

>>> 1 is 1 
True 
>>> 1 + 1 is 2 
True 
>>> 1000 + 1 is 1001 
False 

das bedeutet, dass, wenn Sie schreiben return 1, sind Sie eine bereits bestehende int Objektinstanz mit der Rückkehr einen beträchtlichen Referenzzählers (wie Sie gesehen haben). Da die gleiche Instanz an anderer Stelle verwendet wird, führt ein fehlendes Dereferenzieren nicht zu einem Speicherverlust.

Wenn Sie Ihr Skript in return 1001 oder return object() ändern, sehen Sie eine anfängliche Referenzanzahl von 1 und ein Speicherleck.