web-crawler

0Hitze

1Antwort

Ich habe aufgegeben, url neu zu schreiben, weil ich nicht die Notwendigkeit fühle. So url sieht aus wie "http://www.stackoverflow.com?question=35453." Aber ich sorge mich um eine Sache. Googlebot mein

1Hitze

2Antwort

Ist es möglich, externe Javascript-Dateien (von URLs) von der Konsole in Chrome zu laden?

Ich möchte einige Aktionen halbautomatisch machen. Ich möchte die JQuery-Bibliothek in einer bestimmten Seite geladen werden, damit ich leichter das DOM manipulieren/abfragen kann, um einige Daten zu

1Hitze

1Antwort

Wie konvertiert man einen String in ein BeautifulSoup-Objekt?

Ich versuche, eine Nachrichtenwebsite zu crawlen, und ich muss einen Parameter ändern. Habe ich es mit dem nächsten Code ersetzen mit: while i < len(links): conn = urllib.urlopen(links[i]) h

0Hitze

1Antwort

So vermeiden Sie doppelte Einträge beim Crawlen einer Site

Ich möchte einen Shop mit Ruby, Nokogiri und Mechanize crawlen. Auf einer Seite mit zwei Artikel gezeigt, weiß ich, dass alle Artikel mit .../p/... in der Adresse beginnen, so dass ich dies in article

0Hitze

1Antwort

HTML-Inhalt kann nicht gelesen werden

Ich baue einen WebCrawler, der Links in einer Webseite lesen muss. Für die ich benutze Urlib2-Bibliothek von Python zum Öffnen und Lesen der Websites. Ich habe eine Website gefunden, auf der ich keine

0Hitze

1Antwort

Gespeicherte Crawling-Links im Array speichern und dann eine Funktion aufrufen, um diese Inhalte zu verwerfen

Ich bin auf einer Shop-Seite mit mehreren Artikeln abgebildet. Ich kann schon alle Artikellinks sehen, die ich mit 'links_with' bekommen habe. Jetzt möchte ich den Inhalt auf den Artikelseiten innerha

0Hitze

1Antwort

Mechanize page.search funktioniert nicht mit link.click-Methode

Ich habe eine Shop-Seite und möchte alle Artikel als Link zuerst sehen. Danach möchte ich den Inhalt jedes Links crawlen. Ich erhalte die Links wie folge: agent = Mechanize.new page = agent.get(page_

-4Hitze

3Antwort

Wie erstellt man einen leistungsstarken Crawler wie Google?

Ich möchte einen Crawler erstellen, der Hunderttausende von Links in mehreren Minuten aktualisieren kann. Gibt es irgendwelche ausgereiften Möglichkeiten, die Planung zu tun? Wird ein verteiltes Syste

0Hitze

1Antwort

was ist mit dieser scrapy spinne falsch? scrapes only letzte URL

In Methode parse() Spider kriecht 4 URLs und sendet dann an Methode parse_dir_contents(), um einige Daten zu kratzen, aber nur 4. URL wird gekratzt Ich verstehe nicht, warum es andere 3 URLs nicht sch

0Hitze

1Antwort

Verwenden Sie htmlunit, wie man modales Dialogfeld Element

Ich möchte auf die Website https://console.mobra.in von Htmlunit Tool gehen, aber Login-Eingabe in der Modal-Box, wie Benutzername Element oder Login-Formular zu bekommen?