Warum kann ich keine Wikipediaseiten mit LWP :: Simple holen?

Question

Ich versuche, Wikipedia-Seiten mit LWP::Simple abzurufen, aber sie kommen nicht zurück. Dieser Code:

#!/usr/bin/perl 
use strict; 
use LWP::Simple; 

print get("http://en.wikipedia.org/wiki/Stack_overflow"); 

druckt nichts. Aber wenn ich eine andere Webseite benutze, sagen Sie http://www.google.com, es funktioniert gut.

Gibt es einen anderen Namen, den ich verwenden sollte, um auf Wikipedia-Seiten zu verweisen?

Was könnte hier vor sich gehen?

Answer 1

Offenbar Wikipedia Blöcke LWP :: Simple Anfragen: http://www.perlmonks.org/?node_id=695886

Folgende Werke statt:

#!/usr/bin/perl 
use strict; 
use LWP::UserAgent; 

my $url = "http://en.wikipedia.org/wiki/Stack_overflow"; 

my $ua = LWP::UserAgent->new(); 
my $res = $ua->get($url); 

print $res->content; 

Answer 2

Da Wikipedia wird das HTTP-User-Agent-String von LWP verwendet Blockierung :: Simple.

Sie erhalten eine "403 Verboten" -Antwort, wenn Sie versuchen, es zu verwenden.

Probieren Sie das LWP :: UserAgent-Modul aus, um dies zu umgehen und das Agentenattribut zu setzen.

Answer 3

Siehe auch die Mediawiki-bezogenen CPAN-Module - diese sind entworfen, um Mediawiki-Seiten zu treffen (von denen wikipedia eins ist) und könnte Ihnen mehr Schnickschnack geben als einfache LWP.

http://cpan.uwinnipeg.ca/search?query=Mediawiki&mode=dist

Answer 4

Sie können auch festlegen, nur die UA auf der LWP :: Simple Modul - importieren nur die $ ua variabel, und es wird Ihnen erlauben, die zugrunde liegenden Useragent zu ändern:

use LWP::Simple qw/get $ua/; 
$ua->agent("WikiBot/0.1"); 
print get("http://en.wikipedia.org/wiki/Stack_overflow"); 

Answer 5

Ich löste dieses Problem mit LWP:RobotUA anstelle von LWP::UserAgent. Sie können das Dokument unten lesen. Es gibt nicht viele Unterschiede, die Sie ändern sollten.

http://lwp.interglacial.com/ch12_02.htm