web-crawler

1Hitze

2Antwort

Ich versuche, meine Ember-Anwendung crawlable zu machen. Wie ich weiß, unterstützt Google jetzt JS, CSS und AJAX (ab Oktober 2015). Aber wenn ich meine Website testen, indem „Abruf wie durch Google“ I

1Hitze

1Antwort

Wie automatisch eine Variable in Sparql inkrementieren?

Ich möchte 100 Seiten von Wikipedia crawlen, also möchte ich die wikiPageID jedes Mal um 1 erhöhen. Wie kann ich es tun? PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> SELECT * WHERE { ?saket

1Hitze

1Antwort

Kratzen Web mit Röntgen

Ich benutze Röntgenstrahlen, um einige Daten von einer Website zu extrahieren, aber wenn ich an den Punkt zu crawlen zu einer anderen Seite mit der integrierten Funktionalität kommt, funktioniert es e

0Hitze

1Antwort

CPU bei hoher Belastung, weil der Suchmaschinen kriechen Massen

Ich habe einen Server viele Websites enthält, Und wenn einige Websites haben große Updates, Suchmaschinen wie: Bing (Speziell), Yandex, Yahoo kommen sie zu dem Server viele IP-Adressen verwenden und s

1Hitze

1Antwort

Google Webtools: Fetch and Render zeigt leere Seite

Website wird mit AngularJS mit Nginx gemacht. Der partielle Status beim Abrufen und Rendern ist auf das Abrufen von Benutzerinformationen ohne Authentifizierung zurückzuführen, was in Ordnung ist. Goo

0Hitze

1Antwort

Wie wird die Kopfzeile erstellt, wenn ein einzelner Schlüssel mehrere mögliche Werte hat?

Nun wünsche ich eine Web-Seite mit Python kratzen, und wenn ich die vom Web-Browser aufgebaut Header schauen, gibt es mehrere Schlüssel mehrere Werte haben: Accept:text/html,application/xhtml+xml,appl

1Hitze

1Antwort

Wie youtube 1080p von Programm herunterladen

Wie Sie sehen, kann ich 1080p Video ohne Audio um http://en.savefrom.net/ in einem Browser herunterladen. Und ich versuche 3 andere Methode von Python-Skripten, aber kann nur 720p herunterladen. https

-1Hitze

2Antwort

Wie analysiere ich diese URL mit einer schönen Suppe? Welches Format hat die URL?

ich einige Daten aus dieser Art von URL durchsuchen will: http://steamcommunity.com/market/listings/730/AK-47%20%7C%20Redline%20%28Field-Tested%29/render?start=0&count=5¤cy=&language=english Ich

-3Hitze

1Antwort

Wie implementiere ich einen Web-Crawler, der Werbeblöcke streift?

Um Trainingsdaten zu erhalten, schrieb ich einen Crawler, um die Top 500 Websites auf Alexa mit einer Tiefe von 2 zu verfolgen und alle gefundenen Links in eine Datei zu schreiben. Im Moment sucht es

-1Hitze

1Antwort

Wie stoppe ich Crawl für bestimmte Seiten in Jomres?

Wie Stop stoppen Google Crawl für diese Seite https://www.example.com/index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute in Jomres, ist es möglich, in robot.txt Datei od