Wie kann ich eine URL von einer Website mit Java abrufen?

Question

Ich möchte HTTP GET und POST-Befehle verwenden, um URLs von einer Website abzurufen und den HTML-Code zu analysieren. Wie mache ich das?

Answer 1

Sie können HttpURLConnection in Kombination mit URL verwenden.

URL url = new URL("http://example.com"); 
HttpURLConnection connection = (HttpURLConnection)url.openConnection(); 
connection.setRequestMethod("GET"); 
connection.connect(); 

InputStream stream = connection.getInputStream(); 
// read the contents using an InputStreamReader 

Answer 2

Verwenden http://hc.apache.org/httpclient-3.x/

Answer 3

Der einfachste Weg, um eine GET zu tun ist, die in java.net.URL gebaut zu verwenden. Wie bereits erwähnt, ist jedoch httpclient der richtige Weg, da Sie unter anderem Redirects verwenden können.

Zum Analysieren des HTML können Sie html parser verwenden.

Answer 4

Ich habe JTidy in einem Projekt verwendet und es hat ganz gut funktioniert. Eine Liste anderer Parser ist here, aber abgesehen von JTidy kenne ich keine von ihnen.

Answer 5

Die angekreuzte/genehmigte Antwort ist von rohruska - danke. Dies zeigt die einfachste Art und Weise dies zu tun, es ist einfach mit einem Verständnis von was ist notwendig, um eine einfache URL-Verbindung zu tun. Die längerfristige Strategie wäre jedoch, HTTP Client für erweiterte und funktionsreiche Möglichkeiten zu verwenden, um diese Aufgabe abzuschließen.

Vielen Dank an alle, hier ist die schnelle Antwort wieder:

URL url = new URL("http://example.com"); 
HttpURLConnection connection = (HttpURLConnection)url.openConnection(); 
connection.setRequestMethod("GET"); 
connection.connect(); 

InputStream stream = connection.getInputStream(); 
// read the contents using an InputStreamReader