0
Ich bin neu in java.Ich möchte einen einfachen Web-Crawler.how erstellen, um auf eine robots.txt-Datei für eine Website in java.actually zuzugreifen, weiß ich nicht viel über robots.txt. Bitte hilf mir.Zugriff auf die Datei robots.txt in Java
Was hast du bisher versucht? –
Die robots.txt-Datei befindet sich in einer ziemlich standardmäßigen Position auf jeder einzelnen Website (da eine beliebige Anzahl von verschiedenen Suchmaschinen in der Lage sein muss, sie zu finden). Der Zugriff darauf ist so einfach wie das Abrufen von [url] /robots.txt;) –