0
Ich möchte html Inhalt von ein paar Websites scrappen und sie auf meiner Website eine Art Mashup anzeigen. Ich werde auf sie verweisen und sie verlinken.Können Webentwickler HTML-Inhalte scrappen?
Danke
A
Antwort
0
Gehen Sie voran und tun Sie es, aber überprüfen Sie ihre robots.txt und stellen Sie sicher, es gibt eine Möglichkeit für sie, Sie zu kontaktieren, wenn sie ein Problem damit haben. Die meisten Leute werden glücklich sein, Verkehr von Ihrem Mash-up zu bekommen. Wie auch immer, die Last liegt bei ihnen, dich zu bitten, es nicht zu tun.
3
Es wird nicht als „höflich“, aber es wird oft dennoch getan. Einige Websites ergreifen Gegenmaßnahmen gegen solche Aktivitäten, aber im Allgemeinen können Sie dies ohne Auswirkungen tun.
Wenn Sie es richtig machen wollen, werden Sie einfach mit dem Betreiber der Website erkundigen. Für alles, was Sie wissen, werden sie damit einverstanden sein, oder sie können sogar ein API-Set haben, das Sie verwenden können.
Aber wenn Sie das Scraping ohne Erlaubnis machen, wenn Ihre Site populär wird und die ursprüngliche Seite (n) entdeckt, was Sie tun, könnten sie Ihnen eine Unterlassungserklärung schicken und/oder zusätzliche rechtliche Schritte unternehmen, wenn sie Sie haben das Gefühl, dass Sie gegen urheberrechtlich geschütztes Material verstoßen.
0
Es ist im Allgemeinen nicht das Geschehen Sache. Wenn die Autoren dieser Websites ihre Daten zur Verfügung stellen wollen, haben sie dies wahrscheinlich über eine API oder einen Feed getan.
Die beste Sache zu tun ist, sie direkt zu fragen. Sie könnten Ihnen sogar eine bessere Methode anbieten als das Kratzen.
Es ist nur unhöflich, wenn Sie ihre Server überlasten oder ihre robots.txt nicht respektieren - die Last liegt bei ihnen, Ihnen zu sagen, dass Sie ihren Inhalt nicht abschaben sollen, nicht auf Sie zu fragen. – pguardiario
Dem stimme ich nicht unbedingt zu ... für mich hört es sich so an, als würde man sagen, wenn jemand seine Türe nicht schließt, ist es in Ordnung, in ihr Haus zu gehen, weil die Last auf ihnen liegt, die Tür zu verriegeln - und wenn sie es nicht tun, geben sie implizite Zustimmung, um einzutreten. Als Webmaster vieler Seiten würde ich sicherlich nicht wollen, dass irgendjemand meine Inhalte mit dem Ziel überschreibt, auf ihrer eigenen Website zu veröffentlichen. – msigman
Wirklich? Sie möchten nicht, dass Google Ihre Inhalte scrappt, um Sie aufzulisten und Auszüge Ihrer Inhalte zu zeigen? Wenn das wirklich der Fall ist, kannst du sie in deiner robots.txt ablehnen. Ansonsten ja, wenn Sie eine öffentliche Website haben, geben Sie jedem implizite Erlaubnis, Ihre Seite zu besuchen. – pguardiario