Ich entwickle eine Anwendung in Rails, die überprüft, ob die eingegebene Website Suchmaschinen-URLs generiert hat oder nicht. Eine Lösung, die ich im Sinn habe, ist mit Nokogiri zu analysieren den HTML-Code der Website und suchen Sie im Link-Tag nach URLs, um zu sehen, ob sie suchmaschinenfreundlich sind.Wird es anders gemacht? Jede Hilfe wäre wirklich großartig.Ruby-Code, um zu überprüfen, ob eine Website suchmaschinenfreundliche URLs hat
Sie haben hier zwei Probleme:
Wie definieren Sie formal (programmatisch), was eine "Motor frienldy URL suchen ist". Ich gehe davon aus, dass Sie bereits eine Möglichkeit haben, dies zu tun. So dass Blätter ...
Wie Sie alle Links auf einer Website überprüfen.
Also für (2) ich an so etwas wie Anemone aussehen würde, die es leicht machen, für Sie komplette Websites zu kriechen:
Anemone ist eine Ruby-Bibliothek, die es schnell und schmerzlos macht zu schreiben Programme, die eine Website spinnen. Es bietet eine einfache DSL für die Durchführung von Aktionen auf jeder Seite einer Website, das Überspringen bestimmter URLs und die Berechnung des kürzesten Pfads zu einer bestimmten Seite einer Site.
Das Multi-Thread-Design macht Anemone schnell. Die API macht es einfach. Und die Ausdruckskraft von Ruby macht es stark.
Für einfaches Crawlen Anemone wird Ihnen sogar eine Auswahl aller Links auf einer Seite geben, so dass Sie Nokokiri nicht unbedingt brauchen. Für komplexere Sachen möchten Sie vielleicht Anemone mit etwas wie Mechanize und Nokogiri kombinieren. Das hängt von Ihren Anforderungen ab.
Danke für den Austausch von Informationen über die Anemone Gem, wäre es sehr nützlich für mich.Ich habe auch nicht wirklich einen Weg zum (1) Problem, also, wenn Sie haben Hilfe darüber dann bitte teilen Sie das auch. –
Anemone ist genial, es löst meinen Zweck hier, Danke –
@JimmyThakkar - Danke für Ihre Kommentare. Leider habe ich keine guten Ideen für die SEO-Links. Es ist kein einfaches Problem zu lösen. Was ich tun würde, ist zuerst auf Papier zu schreiben, was eine gute SEO Verbindung ist. I.e. Erstellen Sie zuerst eine Definition auf Papier! Danach könnten Sie versuchen, einen Algorithmus dafür zu formulieren. Aber zuerst müssen Sie die Regeln klären. Vielleicht suchen Sie nach passenden Keywords auf der Seite etc .. Allerdings können Menschen ziemlich schnell sehen, ob ein Link SEO ist oder nicht. Mit nur der Implementierung (2) können Sie die Links bereits auflisten und schnell 100+ Links in nur wenigen Sekunden scannen, indem Sie sie einfach ansehen. – Casper
Wenn Sie wirklich alle Links auf der Seite betrachten möchten, ist Nokogiri der richtige Weg. Wie planen Sie, eine SEO-freundliche URL von einer nicht SEO-freundlichen URL zu unterscheiden? –
Ich habe keine Ahnung, wie ich das machen würde.Ich werde zuerst in Anemone schauen, wie @Casper vorgeschlagen hat.Haben Sie andere Möglichkeit, die für diesen Fall funktionieren könnte? Danke –
Leider nicht, ich war nur neugierig; -) –