web-crawler

0Hitze

3Antwort

Wie kann ich die Ausnahme in Selen ignorieren?

Ich benutze Python Selen für eine Website Schaben, aber mein Crawler gestoppt wegen einer Ausnahme: StaleElementReferenceException: Nachricht: abgestanden Element Referenz: Element ist nicht auf der S

0Hitze

1Antwort

kriechen Webdaten mit Python html Fehler

Ich möchte Daten zu kriechen Python mit Ich habe versucht, wieder versucht, aber es nicht funktionierte ich nicht Fehlercode kann ich Code wie folgt geschrieben gefunden: import re import requests f

0Hitze

2Antwort

Web-Crawler, der gefundene URLs automatisch zu einer MySQL-Datenbank hinzufügen kann?

Titel ziemlich viel sagt alles, ich bin nach einem Web-Crawler, der automatisch die Ergebnisse in einer Datenbank hinzufügen können, existiert so etwas, oder bin ich meine eigene besser zu machen?

2Hitze

1Antwort

Wie würde ich nur die Texte einer Webseite erhalten, die das benötigte Schlüsselwort mit JSoup enthalten?

Ich kam auf etwas wie das, was nicht geklappt hat. Ich versuche, die Texte, die das Schlüsselwort enthalten, allein und nicht den gesamten Text der Webseite zu extrahieren, nur weil die Webseite diese

2Hitze

1Antwort

Scrapy-Verträge mit mehreren Parse-Methoden

Was ist der beste Ansatz zum Schreiben von Verträgen für Scrapy-Spider, die mehr als eine Methode zum Analysieren der Antwort haben? Ich sah dies answer, aber es klang nicht sehr klar für mich. Mein a

0Hitze

1Antwort

Erhalten Antwort von Request bekommen alle den Körper? (Golang, Net/http)

Ich versuche zu vermeiden, Verkehr zu verschwenden, indem HTTP-Antwort Körper nur lesen, wenn ich sehe Content-Typ und Inhalt-Länge kleiner als Schwellenwert gesetzt. httpRequest, err := http.NewReque

0Hitze

1Antwort

Fehler mit Links in scrapy

Ich möchte einige Links zu einer Nachrichten-Website zu kratzen und erhalten Sie die vollständigen Nachrichten. Allerdings sind die Links relativ Die Nachrichten-Website ist http://www.puntal.com.ar/v

3Hitze

2Antwort

Scrapy Regeln funktionieren nicht, wenn process_request und Callback-Parameter

gesetzt habe ich diese Regel für scrapy CrawlSpider rules = [ Rule(LinkExtractor( allow= '/topic/\d+/organize$', restrict_xpaths = '//div[@id= "zh-topic-organize-child-editor"]'

-1Hitze

1Antwort

Wie können Sie Dateien benennen, um zu verhindern, dass Webspider die gesamte Sammlung abruft?

Ich möchte + 1M Produktbilder auf Dateisystem (ext4) speichern, damit ich sie von Web verbinden kann. Ich benutze Ubuntu 16.04, NGINX 1.10, PHP 7 (falls Sie es brauchen). Wie soll ich Dateien benennen

-1Hitze

1Antwort

Wie generisch Kommentare von verschiedenen Websites extrahieren?

Ich möchte Kommentare von Dawn.com sowie von Tribune.com von jedem Artikel extrahieren. Die Art, wie ich Kommentare extrahiere ist, die Klasse <div class="comment__body cf"> auf Dawn während class = "