mit jsoup für scraping google ads

Question

Ich habe jsoup ein paar Monate zurück, um alle Google-Suchergebnisse kratzen, ohne Werbung. jetzt kommt das genaue Gegenteil für den Job, ich muss alle Anzeigen von Google-Ergebnissen erhalten. die Sache ist, ich kann sie nicht in meinem Dokument finden.

Problem ist sicherlich ein falscher Tag ...

Elements elements = doc.select("div[class=*What do i need to put here?*]"); 
        for (Element link : elements) { 
         position++; 

         Elements tempTitles = link.select("h3[]"); 
         Element tempSmtng = link.select("a").first(); 
         ............. 

dies ein Code aus dem letzten Job gemacht ist. Früher hieß es class=g und es funktionierte großartig, aber jetzt scheint es, als würde das Ads-Class-Tag nur dosent arbeiten. irgendwelche Vorschläge, wonach das Tag suchen?

Answer 1

Sie sollten in der Lage sein, dies ganz einfach selbst herauszufinden. Verwenden Sie einfach einen Browser mit Entwicklertools wie Chrome und verwenden Sie Element prüfen für die Anzeigen. Sie sollten sehen, welche CSS-Klassen implementiert werden.

Details zu Chrome Inspect Element hier: https://developers.google.com/web/tools/chrome-devtools/iterate/inspect-styles/?hl=en

JSoup CSS-Selektoren verwendet Elemente zu finden. Sie können lesen, wie Sie sie hier verwenden: .

Sie werden viel besser verstehen, wie Ihr Code funktioniert, indem Sie die zugrundeliegenden Konzepte lernen, weil WebScrapers von Natur aus brüchig sind, da der Anbieter der Website ihre Ausgabe jederzeit ändern kann.