Wie scanne ich eine Webseite (oder Seite) nach Informationen und bringe sie in mein Programm?

Question

Nun, ich versuche ziemlich genau herauszufinden, wie man Informationen von einer Webseite holt und sie in mein Programm bringt (in Java).

Zum Beispiel, wenn ich die genaue Seite kenne, von der ich Informationen möchte, der Einfachheit halber eine Best Buy Artikelseite, wie würde ich die entsprechenden Informationen bekommen, die ich von dieser Seite brauche? Wie der Titel, Preis, Beschreibung?

Wie würde dieser Prozess überhaupt heißen? Ich habe keine Ahnung, dass ich überhaupt anfangen sollte, das zu erforschen.

Edit: Okay, ich bin ein Test für die JSoup läuft (die von BalusC posted on), aber ich erhalte immer diese Fehlermeldung:

Exception in thread "main" java.lang.NoSuchMethodError: java.util.LinkedList.peekFirst()Ljava/lang/Object; 
at org.jsoup.parser.TokenQueue.consumeWord(TokenQueue.java:209) 
at org.jsoup.parser.Parser.parseStartTag(Parser.java:117) 
at org.jsoup.parser.Parser.parse(Parser.java:76) 
at org.jsoup.parser.Parser.parse(Parser.java:51) 
at org.jsoup.Jsoup.parse(Jsoup.java:28) 
at org.jsoup.Jsoup.parse(Jsoup.java:56) 
at test.main(test.java:12) 

ich habe Apache Commons

Answer 1

Verwenden Sie einen HTML-Parser wie Jsoup. Dies hat meine Präferenz über die other HTML parsers available in Java seit es supports wie CSS selectors. Außerdem implementiert seine Klasse, die eine Liste von Knoten darstellt, Elements, implementiert Iterable, so dass Sie in einer enhanced for loop darüber iterieren können (es gibt also keine Notwendigkeit, mit den ausführlichen Klassen Node und NodeList Klassen im durchschnittlichen Java-DOM-Parser zu kämpfen).

Hier ist ein Grund Kickoff Beispiel (nur die latest Jsoup JAR file in Classpath setzen):

package com.stackoverflow.q2835505; 

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element; 
import org.jsoup.select.Elements; 

public class Test { 

    public static void main(String[] args) throws Exception { 
     String url = "https://stackoverflow.com/questions/2835505"; 
     Document document = Jsoup.connect(url).get(); 

     String question = document.select("#question .post-text").text(); 
     System.out.println("Question: " + question); 

     Elements answerers = document.select("#answers .user-details a"); 
     for (Element answerer : answerers) { 
      System.out.println("Answerer: " + answerer.text()); 
     } 
    } 

} 

Wie Sie vielleicht schon erraten haben, diese druckt Ihre eigene Frage und die Namen aller Beantworter.

Answer 2

Sie kann einen HTML-Parser verwenden (viele nützliche Links hier: java html parser).

Der Prozess heißt "Website-Inhalt abrufen". Suchen Sie nach 'webcontent content java' für weitere Invertierungen.

Answer 3

Schauen Sie in die cURL-Bibliothek. Ich habe es nie in Java verwendet, aber ich bin mir sicher, dass es Bindings dafür geben muss. Im Grunde werden Sie eine cURL-Anfrage an die Seite senden, die Sie "scrape" wollen. Die Anfrage gibt eine Zeichenfolge mit dem Quellcode an die Seite zurück. Von dort werden Sie Regex verwenden, um alle Daten aus dem Quellcode zu analysieren. Das ist im Allgemeinen, wie Sie es tun werden.

Answer 4

Dies wird als Screen Scraping bezeichnet, wikipedia hat diesen Artikel auf der spezifischen web scraping. Es kann eine große Herausforderung sein, da es da draußen ein paar hässliche, kaputte, kaputte HTML-Dateien gibt, die nicht für den Browser geeignet sind, also viel Glück.

Answer 5

Sie sollten sich wahrscheinlich den HTML-Code ansehen, um herauszufinden, ob Sie Zeichenketten finden können, die eindeutig und in der Nähe Ihres Textes sind. Dann können Sie Line/Char-Offsets verwenden, um zu den Daten zu gelangen.

Könnte in Java peinlich sein, wenn es keine XML-Klassen gibt, die denen in System.XML.Linq in C# ähneln.

Answer 6

Der Prozess selbst wird normalerweise "Scraping" genannt. Sie können einen Parser wie TagSoup verwenden, um die Seite zu bearbeiten, sobald Sie sie abgerufen haben.

Answer 7

Ich würde JTidy verwenden - es ist ähnlich wie JSoup, aber ich kenne JSoup nicht gut. JTidy verarbeitet beschädigtes HTML und gibt ein w3c-Dokument zurück, sodass Sie dieses als Quelle für XSLT verwenden können, um den Inhalt zu extrahieren, an dem Sie wirklich interessiert sind.Wenn Sie XSLT nicht kennen, können Sie auch JSoup verwenden, da das Document-Modell besser zu verwenden ist als w3c.

EDIT: Ein kurzer Blick auf die JSoup Website zeigt, dass JSoup tatsächlich die bessere Wahl ist. Es scheint CSS-Selektoren zu unterstützen, um Dinge aus dem Dokument zu extrahieren. Das kann viel einfacher sein als mit XSLT.

Answer 8

JSoup Lösung ist groß, aber wenn Sie extrahieren müssen nur etwas wirklich einfach es leichter sein, Regex zu verwenden oder String.indexOf

Wie andere haben bereits den Prozess genannt wird genannt

Answer 9

jsoup unterstützt Schaben 1.5 Java

https://github.com/tburch/jsoup/commit/d8ea84f46e009a7f144ee414a9fa73ea187019a3

sieht aus wie das Stack ein Bug war, und wurde behoben

Answer 10

Sie könnten auch versuchen, jARVEST.

Es basiert auf einem JRuby DSL über eine reine Java-Engine, um Websites zu spider-scrape-transformieren.

Beispiel:

Suche alle Links innerhalb einer Webseite (wget und xpath sind Konstrukte der Sprache des jARVEST):

wget | xpath('//a/@href') 

In einem Java-Programm:

Jarvest jarvest = new Jarvest(); 
    String[] results = jarvest.exec(
    "wget | xpath('//a/@href')", //robot! 
    "http://www.google.com" //inputs 
); 
    for (String s : results){ 
    System.out.println(s); 
    }