web-crawler

-3Hitze

1Antwort

Wie man eine Ajax-generierte Webseite crawlt?

ich versuche haben https://world.taobao.com/search/search.htm?cat=50008090&_ksTS=1461999216322_20&spm=a21bp.7806943.banner_XX_cat.13.UxfRzO&_input_charset=utf-8&navigator=all&json=on&callback=__jsonp_

1Hitze

1Antwort

Klicken Sie auf Tasten mit Bildern

Ich versuche, diese Seite zu kriechen: http://www.1800contractor.com/d.HI.html Ich habe dieses Skript from selenium import webdriver URL = "http://www.1800contractor.com/d.GA.html" zip_codes = ['3

0Hitze

1Antwort

Flexible Web Crawler

Ich bin für den Moment mit meinem Web-Crawler stecken geblieben. Der Code, bis jetzt ist: import requests from bs4 import BeautifulSoup def search_spider(max_pages): page = 1 while page <

0Hitze

1Antwort

So erhalten Sie eBay Artikeldetails mit Artikel Galerie Bild URL

Ich bin ein Dropshipper und ich habe eine Liste von eBay-Artikel Bild URLs (~ 200K), jede Bild-URL mit eindeutigen ID in der URL selbst. Jeder API-Aufruf oder andere Optionen, um entsprechende Artikel

2Hitze

1Antwort

Draw Dojo Spinnen Diagramm ohne Achsenbeschriftungen (Ticks)

Ich habe ein Dojo-Spinnen-Diagramm mit den Standardparametern erstellt. Ich brauche verstecken Sie die Achsenbeschriftungen (Datenwerte auf den Ticks, nicht über den Achsentitel sprechen). Ich habe ve

0Hitze

1Antwort

PHP cURL Anfrage nicht folgenden Redirects

Wir haben einen Crawler in PHP gebaut, um wichtige Informationen von unseren Kundenseiten zu ziehen. Das Problem ist, dass die meisten unserer Kunden benutzerdefinierte verkürzte Links veröffentlichen

0Hitze

1Antwort

Apache Nutch vermeiden Refetching

Ich crawle ein paar Websites mit Apache Nutch, aber ich habe festgestellt, dass bei jeder Iteration die 95% der Websites, die es durchsucht, bereits in der Datenbank sind. Ich verwende den Skriptcrawl

5Hitze

2Antwort

Wie zu verhindern, dass schwarze Liste beim Schaben Amazon

Ich versuche, Amazon von Scrapy kratzen. , aber ich habe diesen Fehler DEBUG: Retrying <GET http://www.amazon.fr/Amuses-bouche-Peuvent-b%C3%A9n%C3%A9ficier-dAmazon-Premium-Epicerie/s?ie=UTF8&page=1&rh

0Hitze

1Antwort

Python Beasesoup Crawler Fehler beim Auswählen der URL von Mysql

Ich habe eine Datenbank, wo ich die Startseite einiger Websites gespeichert habe. Ich möchte, dass dieses Skript einen Link aus dieser Datenbank abruft und dann andere auf der Seite vorhandene href-Li

1Hitze

2Antwort

Wie definiere ich die Coverage meines Nutch Crawl?

Ich habe in den letzten zwei Wochen eine Website gesammelt/gecrawlt. Ich habe die crawl Befehlseinstellung 100 Iterationen verwendet. Der Prozess ist gerade beendet. Wie kann ich die Abdeckung der gec