5
Ich brauche alle Kommentare (mehr als 2,6 Millionen Kommentare, über 5000 Seiten) für PSY Gangnam Style-Video von YouTube zu kriechen finden Sie unter: http://www.youtube.com/all_comments?v=9bZkp7q19f0Howto kriechen alle Kommentare der einzelnen Clips von YouTube, mehr als 100 Seite
Das Problem ist:
1) Wenn ich gdata Dienst verwenden, google nur keine
Kommentar-Feeds mehr als 1000 liefert2) Wenn ich direkt Crawl hTML-Tags aus:
site(http://www.youtube.com/all_comments?v=9bZkp7q19f0&page=$(page))
durch die Erhöhung der Seite Parameter würde es nach Seite # 101 fehlschlagen, wo keine Kommentare auf der Seite angezeigt werden.
So plz jeder, wie kann ich dieses Problem umgehen?
P.S: Mein Crawler ist als eine Chrome-Erweiterung mit Javascript implementiert, das die Kommentar-Tags der geladenen Seite überprüft und dann die nächste Seite lädt.
Ich bin mir nicht ganz sicher, aber müssen Sie nicht für weitere Kommentare bezahlen? Ich denke, das ist der Grund, warum gibt es eine Grenze. – ioanb7
danke für Ihren Rat, aber ich bin nicht vertraut mit dem Kauf von Service-Quote von Google; Hast du solche Erfahrung? oder wo kann ich verwandte doc finden? –
[stackoverflow - wie man mehr als 1000 holt] (http://stackoverflow.com/questions/264154/google-appengine-how-to-fetch-more-than-1000) - Hilft Ihnen das? :-) – ioanb7