Wie gleichzeitige Verbindungen von cURL

Question

begrenzen Ich machte einen einfachen Web-Crawler mit PHP (und CURL). Es analysiert ungefähr 60 000 HTML-Seiten und ruft Produktinformationen hervor (es ist ein Werkzeug in einem Intranet).

Mein Hauptanliegen ist die gleichzeitige Verbindung. Ich möchte die Anzahl der Verbindungen begrenzen, also würde der Crawler niemals mehr als 15 gleichzeitige Verbindungen verwenden.

Der Server blockiert die IP immer wenn das Limit von 25 gleichzeitigen Verbindungen durch IP erreicht ist und aus irgendeinem Grund kann ich das auf der Serverseite nicht ändern, also muss ich einen Weg finden, mein Skript nie mehr zu verwenden als X gleichzeitige Verbindungen.

Ist das möglich?

Oder vielleicht sollte ich das Ganze in einer anderen Sprache umschreiben?

Vielen Dank, jede Hilfe wird geschätzt!

Answer 1

Nun können Sie curl_set_opt(CURLOPT_MAXCONNECTS, 15); verwenden, um die Anzahl der Verbindungen zu begrenzen. Vielleicht möchten Sie aber auch einen einfachen Verbindungsmanager erstellen, wenn dies nicht für Sie erledigt ist.

Answer 2

Vielleicht eine einfache Verbindungstabelle schreiben:

target_IP   | active_connections 

1.2.3.4     10 
4.5.6.7     5 

jeder curl Aufruf die Anzahl der Verbindungen erhöhen würde, jeder es in der Nähe verringern.

Sie können die Tabelle in einer mySQL-Tabelle oder Memcache für Geschwindigkeit speichern.

Wenn Sie auf eine IP-Adresse stoßen, die bereits über maximale Verbindungen verfügt, müssen Sie eine "try later" -Warteschlange implementieren.

Answer 3

Meine Antwort auf another question hat einen Code dafür mit curl_multi_ *.