Mit mechanisieren bing Suche zurück leere Seite

Question

Ich benutze Mechanize, um eine Bing-Suche durchzuführen und dann werde ich die Ergebnisse mit schönen Suppe verarbeiten. Ich habe erfolgreich Google und Yahoo-Suchen mit dieser Methode durchgeführt, aber wenn ich eine Bing-Suche mache, bekomme ich nur eine leere Seite.

Ich bin gründlich verwirrt, warum das der Fall ist und wenn jemand etwas Licht auf die Sache werfen kann, die sehr geschätzt werden würde. Hier ist ein Beispiel für den Code Ich verwende:

from BeautifulSoup import BeautifulSoup 
import mechanize 
br = mechanize.Browser() 
br.set_handle_robots(False) 
br.open("http://www.bing.com/search?count=100&q=cheese") 
content = br.response() 
content = content.read() 
soup = BeautifulSoup(content, convertEntities=BeautifulSoup.ALL_ENTITIES) 
print soup 

Das Ergebnis ist eine leere Zeile gedruckt.

Answer 1

Sie haben wahrscheinlich Antwort, dass die Antwort bereits in Ihrem Browser-Cache ist. Versuchen Sie, ein wenig Sie Zeichenfolge, zum Beispiel Abnahme Zahl auf 50.

Sie abfragen können auch einige Debug-Code hinzufügen und sehen Header vom Server zurückgegeben:

br.open("http://www.bing.com/search?count=50&q=cheese") 
response = br.response() 
headers = response.info() 
print headers 
content = response.read() 

EDIT:

Ich habe versuchte diese Abfrage mit count=100 mit Firefox und Opera Browsern und es scheint, dass Bing nicht so eine "große" Anzahl mag. Wenn ich die Anzahl reduziere, funktioniert es. Dies ist also keine Mechanisierung oder andere Python-Bibliothek Fehler, aber Ihre Abfrage ist problematisch zu Bing. Es scheint auch, dass der Browser Bing mit count=100 abfragen kann, aber es muss zuerst Bing mit einer kleineren Anzahl abfragen. Seltsam!