So verwenden Sie Python, Datenbank parallel abzufragen

Question

Ich habe zwei Funktionen, die ich zum Abfragen der Datenbank verwenden. Angenommen, zwei separate Abfragen, wie diese parallel ausgeführt werden, um die gleiche Datenbank abzufragen, und warten Sie auf beide Ergebnisse zurück, bevor Sie die Ausführung des restlichen Codes fortsetzen?

def query1(param1, param2): 
    result = None 
    logging.info("Connecting to database...") 
    try: 
     conn = connect(host=host, port=port, database=db) 
     curs = conn.cursor() 
     curs.execute(query) 
     result = curs 
     curs.close() 
     conn.close() 
    except Exception as e: 
     logging.error("Unable to access database %s" % str(e)) 
    return result 


def query2(param1, param2): 
    result = None 
    logging.info("Connecting to database...") 
    try: 
     conn = connect(host=host, port=port, database=db) 
     curs = conn.cursor() 
     curs.execute(query) 
     result = curs 
     curs.close() 
     conn.close() 
    except Exception as e: 
     logging.error("Unable to access database %s" % str(e))  
    return result 

Answer 1

Hier ist ein Multi-Threaded-Code, der tut, was Sie versuchen zu erreichen:

from threading import Thread, Lock 

class DatabaseWorker(Thread): 
    __lock = Lock() 

    def __init__(self, db, query, result_queue): 
     Thread.__init__(self) 
     self.db = db 
     self.query = query 
     self.result_queue = result_queue 

    def run(self): 
     result = None 
     logging.info("Connecting to database...") 
     try: 
      conn = connect(host=host, port=port, database=self.db) 
      curs = conn.cursor() 
      curs.execute(self.query) 
      result = curs 
      curs.close() 
      conn.close() 
     except Exception as e: 
      logging.error("Unable to access database %s" % str(e)) 
     self.result_queue.append(result) 

delay = 1 
result_queue = [] 
worker1 = DatabaseWorker("db1", "select something from sometable", 
     result_queue) 
worker2 = DatabaseWorker("db1", "select something from othertable", 
     result_queue) 
worker1.start() 
worker2.start() 

# Wait for the job to be done 
while len(result_queue) < 2: 
    sleep(delay) 
job_done = True 
worker1.join() 
worker2.join()