crawl dynamische Webseite mit htmlunit

Question

Ich crawle Daten mit HtmlUnit von einer dynamischen Webseite, die unendlich scrollt, um Daten dynamisch zu holen, genau wie facebooks Newsfeed. Früher habe ich den folgenden Satz das Scrollen nach unten Ereignis zu simulieren:

webclient.setJavaScriptEnabled(true); 
webclient.setAjaxController(new NicelyResynchronizingAjaxController()); 
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)"); 
webclient.waitForBackgroundJavaScript(10000); 
myHtmlPage=(HtmlPage)sr.getNewPage(); 

Aber es scheint myHtmlPage das gleiche mit dem vorherigen bleibt, das heißt, werden neue Daten nicht in myHtmlPage angehängt, als Ergebnis kann ich nur kriechen die ersten wenige Daten auf der Webseite. Danke für Ihre Hilfe!

Answer 1

Ich suchte die gleiche Sache. Ich konnte nur feststellen, dass es kein Scroll Event ist (90% sicher). Es gibt link auf JS, die verantwortlich für das Laden der Seite ist und könnte Ihnen vielleicht helfen.

Answer 2

Ich hatte ähnliches Problem, wo der Inhalt während des Blätterns der Seite nachgeladen wurde. Ich löste es mit:

webClient.getCurrentWindow().setInnerHeight(Integer.MAX_VALUE);