web-crawler

0Hitze

2Antwort

Es gibt viele Websites, die einfach None zurückgeben, wenn ich einen Wert von der Website anfordern. Beispiel: import requests from bs4 import BeautifulSoup def spider(): url = 'https://poloni

1Hitze

1Antwort

Blogger zeigen aktuelle vollständige URL in Metatags

Ich benutze meine Blogger als SPA-Website. Und Benutzer können Beiträge auf Facebook teilen. Jeder Beitrag ist identisch mit? Id = {posts_id} in der Anfrage-URL, Die {post_id} werden von Javascript ge

1Hitze

1Antwort

BeautifulSoup nicht ich Element entfernen

Ich lerne, wie html zu analysieren und zu manipulieren beautiful soup mit etwa so: from lxml.html import parse import urllib2 from urllib2 import urlopen from BeautifulSoup import BeautifulSoup u

0Hitze

1Antwort

Web Crawlen einer Tabelle von Links

Ich erstelle ein Skript in Python, das eine Tabelle mit drei Spalten durchläuft. Ich habe eine Liste erstellt, in der jeder Link in der ersten Spalte in die Liste eingefügt wird. Und dann gehe ich dur

0Hitze

1Antwort

, wie der Link oder mit HTMLAgilityPack Inner

ich diese Struktur erhalten: <p class="info">Sample： <strong> <a href="http://PleaseGetMe.com"target="_blank">http://PleaseGetMe.com</a> </strong> </p> Was ich will, ist die http://

0Hitze

1Antwort

Scrapy auf Terminal-Server

laufen i auf Server-Seite wanna kriecht, aber mein Python es so gut isnt ... meine Quelle funktioniert so gut ist, wenn ich es auf Meinlaptop Terminal laufen, aber es war falsch läuft beim Laufen es a

2Hitze

2Antwort

Nutch Crawler nicht Nachrichten Artikelinhalt abrufen

Ich habe versucht, Nachrichtenartikel zu kriechen aus den Links: - Article 1 Article 2 Aber ich bin nicht den Text aus der Seite bekommen zum Inhaltsfeld im Index (elasticsearch). Ergebnis des Crawlin

1Hitze

1Antwort

Wie wähle ich Daten von bestimmten Tags in nutch

Ich bin ein Neuling in Apache Nutch und ich würde gerne wissen, ob es möglich ist, ausgewählte Bereich einer Webseite zu crawlen. Wählen Sie zum Beispiel einen bestimmten div und crawlen Inhalte nur i

-1Hitze

1Antwort

Python-Skript für das Web von Web-Seiten Schaben für in ihm vorhanden Urls IP-Adresse zu finden

Ich habe begonnen Skript zu schreiben, wie unten erwähnt import urllib2 from bs4 import BeautifulSoup trg_url='http://timesofindia.indiatimes.com/' req=urllib2.Request(trg_url) handle=urllib2.url

2Hitze

2Antwort

Endlosschleife kann ich nicht sehen

Ich versuche einen Webcrawler zu schreiben, aber ich stecke fest, weil ich irgendwo in meinem Code keine Endlosschleife sehen kann. class Crawler(object): def __init__(self, url, query, dir = os.