Ich möchte eine Website zu crawlen, das Problem ist, dass es voll von JavaScript-Dingen, wie Schaltflächen und so, dass wenn sie gedrückt werden, sie die URL nicht ändern, aber die Daten auf der Seite geändert werden.Wie kann ich Javascript in einem Perl Web Crawler behandeln?
Normalerweise verwende ich LWP/Mechanize usw., um Websites zu crawlen, aber keines davon unterstützt JavaScript. eine Idee?
könnten andere Option Selenium mit WWW::Selenium Modul sein
Das WWW::Scripter Modul hat eine JavaScript plugin, die nützlich sein kann. Ich kann nicht sagen, dass ich es selbst benutzt habe.
WWW::Mechanize::Firefox könnte von Nutzen sein. Auf diese Weise kann Firefox die komplexen JavaScript-Probleme behandeln und den resultierenden HTML-Code extrahieren.
iMacros für IE/Firefox/Chrome ist eine sehr flexible Schaber Bahn und kann von Perl gesteuert werden: http://wiki.imacros.net/Perl
würde ich HtmlUnit und Perl-Wrapper vorschlagen: WWW::HtmlUnit.