Wie Finished Threads in Python

Question

Mein Multi-Threading-Skript Erhöhung um diesen Fehler zu töten:

thread.error : can't start new thread 

, wenn es erreicht 460 Themen:

threading.active_count() = 460 

ich die alten Threads übernehmen hält stapeln, da die Skript hat sie nicht getötet. Das ist mein Code:

import threading 
import Queue 
import time 
import os 
import csv 


def main(worker): 
    #Do Work 
    print worker 
    return 

def threader(): 
    while True: 
     worker = q.get() 
     main(worker) 
     q.task_done()   

def main_threader(workers): 
    global q 
    global city 
    q = Queue.Queue() 
    for x in range(20): 
     t = threading.Thread(target=threader) 
     t.daemon = True 
     print "\n\nthreading.active_count() = " + str(threading.active_count()) + "\n\n" 
     t.start() 
    for worker in workers: 
     q.put(worker) 
    q.join() 

Wie töte ich die alten Threads, wenn ihre Arbeit erledigt ist? (Ist die Rückgabe nicht genug?)

Answer 1

Ihre threader Funktion wird nie beendet, so dass Ihre Threads niemals sterben. Da Sie nur einen festen Arbeitssatz verarbeiten und nach dem Start keine Elemente hinzufügen, können Sie festlegen, dass die Threads beendet werden, wenn die Warteschlange leer ist.

Siehe folgende geänderte Version des Codes und die Kommentare, die ich hinzugefügt:

def threader(q): 
    # let the thread die when all work is done 
    while not q.empty(): 
     worker = q.get() 
     main(worker) 
     q.task_done()   

def main_threader(workers): 
    # you don't want global variables 
    #global q 
    #global city 
    q = Queue.Queue() 
    # make sure you fill the queue *before* starting the worker threads 
    for worker in workers: 
     q.put(worker) 
    for x in range(20): 
     t = threading.Thread(target=threader, args=[q]) 
     t.daemon = True 
     print "\n\nthreading.active_count() = " + str(threading.active_count()) + "\n\n" 
     t.start() 
    q.join() 

Beachten Sie, dass ich global q entfernt und stattdessen gebe ich q an die Thread-Funktion. Sie möchten nicht, dass Threads, die durch einen vorherigen Aufruf erstellt wurden, am Ende einen mit neuen Threads teilen (Edit, obwohl q.join() dies sowieso verhindert, es ist immer noch besser, Globals zu vermeiden).