Asyncio RuntimeError: Ereignisschleife ist geschlossen

Question

Ich versuche, eine Reihe von Anfragen (~ 1000) mit Asyncio und der aiohttp-Bibliothek zu machen, aber ich stoße auf ein Problem, dass ich nicht viele Informationen finden kann.

Wenn ich diesen Code mit 10 URLs ausführen, läuft es gut. Wenn ich es mit 100+ URLs starte, bricht es und gibt mir RuntimeError: Event loop is closed Fehler.

import asyncio 
import aiohttp 


@asyncio.coroutine 
def get_status(url): 
    code = '000' 
    try: 
     res = yield from asyncio.wait_for(aiohttp.request('GET', url), 4) 
     code = res.status 
     res.close() 
    except Exception as e: 
     print(e) 
    print(code) 


if __name__ == "__main__": 
    urls = ['https://google.com/'] * 100 
    coros = [asyncio.Task(get_status(url)) for url in urls] 
    loop = asyncio.get_event_loop() 
    loop.run_until_complete(asyncio.wait(coros)) 
    loop.close() 

Der Stack-Trace kann here finden.

Jede Hilfe oder Einsicht würde sehr geschätzt werden, da ich seit ein paar Stunden meinen Kopf darüber hämmere. Offensichtlich würde dies bedeuten, dass eine Ereignisschleife geschlossen wurde, die noch offen sein sollte, aber ich sehe nicht, wie das möglich ist.

Answer 1

Sie haben recht, loop.getaddrinfo verwendet ThreadPoolExecutor, um in einem Thread auszuführen.

Sie verwenden asyncio.wait_for mit einem Timeout, das res = yield from asyncio.wait_for... bedeutet, dass eine asyncio.TimeoutError nach 4 Sekunden erhöhen. Dann geben die get_status Korotinen None zurück und die Schleife stoppt. Wenn danach ein Job beendet wird, wird versucht, einen Rückruf in der Ereignisschleife einzuplanen und löst eine Ausnahme aus, da sie bereits geschlossen ist.

Answer 2

Der Fehler ist abgelegt als https://github.com/python/asyncio/issues/258 Bleiben Sie dran.

Als schnelle Problemumgehung empfehle ich benutzerdefinierte Executor, z. bitte tun

executor.shutdown(wait=True) 
loop.close()