Wie kratze ich etwas, nachdem JS das DOM geändert hat?

Question

Ich benutze Mechanize, obwohl ich offen für Nokogiri bin, wenn Mechanize das nicht kann.

Ich möchte die Seite kratzen, nachdem alle Skripte im Gegensatz zu zuvor geladen wurden.

Wie könnte ich das tun?

Answer 1

Nokogiri und Mechanize sind nicht vollständiger Web-Browser und tut Führen Sie JavaScript nicht in einem Browsermodell-DOM aus. Sie möchten etwas wie Watir oder Selenium verwenden, mit denen Sie Ruby verwenden können, um einen aktuellen Webbrowser zu steuern.

Answer 2

Ich weiß nichts über Mechanize oder Nokogiri, also kann ich nicht speziell auf sie eingehen. Allerdings ist das Problem, JavaScript nach der Änderung zu bekommen, eines, von dem ich glaube, dass es nur mit mehr JavaScript gelöst werden kann. Um den neu generierten HTML-Code zu erhalten, müssten Sie die .innerHTML-Datei des Dokumentelements abrufen. Dies kann schwierig sein, da Sie js in eine Seite injizieren müssen.

Der einzige Weg, um dies zu erreichen, ist ein FireFox-Plugin zu schreiben. Mit einem Plugin können Sie JavaScript auf einer Seite ausführen, obwohl es nicht Ihre Seite ist. Sorry, ich bin nicht mehr Hilfe, ich hoffe, dass dies hilft, Sie auf den richtigen Weg zu bringen.

Wenn Sie Interesse an Plug-In ist dies ein Ort zu starten: http: //anthonystechblog.wordpress.com/category/internet/firefox/

Answer 3

Zusätzlich zu watir-webdriver und capybara-webkit ist celerity eine gute Option, obwohl es nur jruby ist.

Answer 4

Ich denke, eine gute Option, so etwas wie dies mit Nokogiri ist, Watir und PhantomJS:

b = Watir::Browser.new(:phantomjs)

b.goto URL

doc = Nokogiri::HTML(b.html)

Das resultierende doc aus sein wird, wenn nach den Skripten wurden geladen. Und phantomjs ist nett, weil kein Browser geladen werden muss.