Die Verwendung von memSQL mit Spark-Streaming hat sich sehr verlangsamt, die Events/Sekunde von Spark-Streaming-Job

Question

Ich habe einen Spark-Streaming-Job, der in bestimmten Fällen auf memSQL zugreift. Für die Fälle, in denen es nicht memSQL zugreift, die Ereignisse/s sind um 3000. jedoch für die Fälle, in denen es memSQL zugreift, werden die Ereignisse/s sind nur etwa 500. Ich bin Zugriff auf memSQL wie folgt:

What is the correct way of using memSQL Connection object inside call method of Apache Spark code

danke

Answer 1

Dies ist wahrscheinlich, weil Sie eine Verbindung für jede Partition im Microbatch einrichten. Wenn Sie die Größe jedes Stapels erhöhen, wird es schneller gehen.