web-crawler

2Hitze

3Antwort

Wie krieche ich mit PHP Goutte und Guzzle, wenn Daten von Javascript geladen werden?

Viele Male, wenn kriechen wir auf Probleme stoßen, wo Inhalte, die mit Javascript erzeugt werden und kratzig ist daher auf der Seite gerendert wird nicht in der Lage, dafür zu kriechen (z. B. AJAX-Anf

0Hitze

1Antwort

Wie aktualisiert man den Abrufstatus in crawldb in Apache nutch?

Ich habe Web Crawling mit Apache Nutch ..... Ich habe für zwei Runden geholt. Es erzeugte eine Durchforstungs-DB, die 21 URLs als abgerufenen Status und 537 URL als nicht abgerufenen Status enthielt.

1Hitze

1Antwort

Web Verschrottung craigslist Wohnung Preise in Python nicht zeigt höchste Kosten Wohnung

Es zeigt den Höchstpreis für eine Wohnung ist 4700 $ wenn der Höchstpreis, wie ich sehe, etwas über eine Million ist. Warum zeigt es das nicht? Was mache ich falsch? import requests import re r =

0Hitze

1Antwort

wie man nutch setzt, um Inhalt von nur URLs zu extrahieren, die auf Seed-Datei vorhanden sind

Ich benutze nutch 2.3 und ich versuche, den HTML-Inhalt einiger URLs zu erhalten, die auf seed.txt-Datei vorhanden sind, die ich an nutch in HBase übergebe. So ist das Problem, wie unten --- Erste Cra

0Hitze

1Antwort

Kann nicht diese Tweets kriechen die hashag enthält

ich Twitter4J verwenden twitter zu kriechen, aber ich bin ein sehr lustigen Fehler auftritt: , wenn ich versuche Twitter4J für alle Tweets zu kriechen wiich Hashtag enthält (so würde mein serach Begri

-4Hitze

1Antwort

Wie crawle ich eine Seite mit JS für interne Links? Es muss auch rekursiv gemacht werden

Im Grunde ist die Aufgabe, die Webseite mit JavaScript zu crawlen und wenn ich die internen Links finde, sollte ich die internen Links in jedem von ihnen finden und es muss so viele gehen Ebenen "tief

-2Hitze

1Antwort

Welche Art von Daten können wir aus einem Blog oder einem Forum für ein Web-Scraping-Projekt extrahieren?

Ich bin etwa an einem Projekt über ‚Analyse von Daten aus Blog oder Forum‘ zu arbeiten, so frage ich mich, welche Art von Daten können wir von einem Blog zu extrahieren oder ein Forum und wie soll ich

0Hitze

2Antwort

Crawling Video mit Nutch

Wie Video-Tag wie folgt mit Nutch holen können <video width="320" height="240" controls> <source src="video/video.mp4" type="video/mp4"> <source src="video/video.ogg" type="video/ogg">

1Hitze

3Antwort

Nightmare Conditional Wait()

Ich versuche, eine Webseite mit Nightmare zu crawlen, aber warten möchte, bis #someelem vorhanden ist, nur wenn es tatsächlich existiert. Ansonsten möchte ich, dass Nightmare weitergeht. Wie kann dies

0Hitze

2Antwort

mein Code schläft auf response.read() Funktion, manchmal

for index in range(1,10): send_headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.2;rv:16.0) Gecko/20100101 Firefox/16.0', 'Accept':'text/html,application/xhtml+xml,application