Handle LWP Timeout effektiv

Question

Ich benutze LWP, um Inhalt von Webseiten herunterzuladen, und ich möchte die Zeit, die es auf eine Seite wartet, beschränken. Dies wird in lwp wie dies erreicht:

my $ua = LWP::UserAgent->new; 
$ua->timeout(10); 
$ua->get($url); 

Und das funktioniert gut, mit Ausnahme, wenn das Timeout erreicht seine Grenze, es ist nur stirbt, und ich kann mit dem Skript nicht weiter auf! Ich würde dieses Zeitlimit wirklich gerne richtig behandeln, damit ich aufzeichnen kann, dass die URL eine Zeitüberschreitung hatte, und dann mit meiner nächsten fortfahren. Weiß jemand, wie man das macht? Vielen Dank!

Answer 1

LWP::Agent ‚s get() gibt ein HTTP::Response Objekt, das Sie für die Überprüfung Fehler verwenden können:

Btw, die bessere Praxis heutzutage ist Try::Tiny anstelle von eval {...} zu verwenden. Es gibt Ihnen try {...} catch {...}. und es löst einige Probleme mit der Überprüfung if $@ (siehe den Hintergrund in der Try::Tiny Dokumentation).

Answer 2

Sie können das Äquivalent eines try do {} catch {} in Perl mit eval Blöcke:

http://perldoc.perl.org/functions/eval.html

Answer 3

Für die meisten Zwecke ist LWP :: UserAgent Timeout ausreichend, aber es leidet unter einigen Nachteilen ... es gilt für jeder Systemaufruf, anstatt auf das Aggregat von ihnen. Wenn Sie wirklich eine feste Zeitüberschreitung benötigen, ist dies eines der Dinge, die LWPx::ParanoidAgent erledigt.