So führen Sie Flask mit Gunicorn im Multithread-Modus

Question

Ich habe Web-Anwendung in Flask geschrieben. Wie von allen vorgeschlagen, kann ich Flask nicht in der Produktion verwenden. Also dachte ich an Gunicorn mit Flask.

In Flask-Anwendung lade ich einige Machine Learning-Modelle. Diese haben zusammen eine Größe von 8 GB. Die Parallelität meiner Webanwendung kann bis zu 1000 Anfragen gehen. Und der RAM der Maschine ist 15GB.
Also, was ist der beste Weg, um diese Anwendung zu starten?

Answer 1

Sie können Ihre App mit mehreren Arbeitern oder asynchronen Arbeitern mit Gunicorn starten.

Flask server.py

from flask import Flask 
app = Flask(__name__) 

@app.route("/") 
def hello(): 
    return "Hello World!" 

if __name__ == "__main__": 
    app.run() 

Gunicorn mit GEVENT async Arbeiter

gunicorn server:app -k gevent --worker-connections 1000 

Gunicorn 1 Arbeiter 12 Fäden:

gunicorn server:app -w 1 --threads 12 

Gunicorn mit 4 Arbeiter (Multiprozessing):

gunicorn server:app -w 4 

Weitere Informationen über Kolben Nebenläufigkeit in diesem Beitrag: How many concurrent requests does a single Flask process receive?.