Web Scraping von youtube mit Nokogiri

Question

Ich möchte alle Namen der Benutzer, die unter einem YouTube-Video kommentiert haben kratzen. Ich benutze Ruby und Nokogiri.

Aber es funktioniert nicht, ich bekomme keine Ausgabe, auch kein Fehler.

Answer 1

Ich glaube, Sie brauchen name.css("#comment-section..."

Die jede Aussage über die Elemente iteriert wird, mit der Variable name.

Möglicherweise möchten Sie node statt Namen verwenden:

doc.css(".comment-thread-renderer > .comment-renderer").each do |node| 
    name = node.css("#comment-section-renderer-items .g-hovercard").text 

    puts name 
end 

Answer 2

ich nicht in der Lage sein, Ihnen eine Lösung zu geben, aber zumindest kann ich Ihnen ein paar Hinweise geben, die Ihnen helfen können bewegen nach vorne.

Der Code, den Sie haben, funktioniert nicht, da der Kommentarbereich über einen Ajax-Aufruf geladen wird, nachdem die Seite geladen wurde. Wenn Sie in Ihrem Browser einen Hard Reload durchführen, sehen Sie, dass in den Kommentaren der Abschnitte ein Spinner-Symbol und ein Loading... Text vorhanden ist, der darauf wartet, dass der Inhalt geladen wird. Wenn Nokogiri die Seite über die http Anfrage erhält, erhält es den HTML-Inhalt, den Sie sehen, bevor die Kommentare geladen werden. Wie in der Tat der Ort, wo der Inhalt wird später sieht aus wie hinzugefügt:

<div id="watch-discussion" class="branded-page-box yt-card"> 
    <div id="comment-section-renderer" 
    class="comment-section-renderer vve-check" 
    data-visibility-tracking="CCsQuy8iEwjr3P3u1uzNAhXIepAKHRV9D8Ao-B0="> 
     <div class="action-panel-loading"> 
     <p class="yt-spinner "> 
      <span class="yt-spinner-img yt-sprite" title="Loading icon"> 
      </span> 
      <span class="yt-spinner-message">Loading...</span> 
     </p> 
     </div> 
    </div> 
</div> 

Das ist der Grund, warum Sie das nicht finden div s Sie suchen, weil sie nicht Teil der sind html hast du.

Wenn Sie die Netzwerkkonsole im Browser betrachten, scheint die Ajax-Anforderung zum Abrufen der Kommentardaten an https://www.youtube.com/watch_fragments_ajax?v=tntOCGkgt98&tr=time&distiller=1&ctoken=EhYSC3RudE9DR2tndDk4wAEAyAEA4AEBGAY%253D&frags=comments&spf=load gesendet zu werden. Wie Sie die v Parameter sehen kann das Video-ID ist, aber es gibt ein paar Einschränkungen:

• Es gibt einen ctoken param, die Sie durch Abkratzen der ursprünglichen Seiteninhalte zu bekommen. Es ist innerhalb eines <script> Tags in Form von .
• Sie müssen jedoch immer noch eine session_token als Formulardaten im Körper der AJAX-Anfrage senden (das ist eine POST). Das weiß ich nicht, wo herkommt :(.

Ich denke, dass Sie die Grenzen der Nokogiri hier wird darauf drängen, wie AFAIK nicht beabsichtigt ist, AJAX-Anfragen oder beim Umgang mit Javascript zu folgen. Vielleicht the ruby Selenium driver ist besser geeignet für diesen.

HTH

Answer 3

ich schrieb this Schienen App nokogiri mit all Tags, um zu sehen, dass eine Seite hat, bevor eine Javascript im Browser ausgeführt wird. der Quellcode ist here, so dass Sie es anpassen können, wenn Sie müssen weitere Informationen zum Knoten in der Ansicht hinzufügen

Das kann Ihnen leicht sagen, ob das bestimmte Tag-Element, das Sie suchen, etwas ist, das Sie abrufen können, ohne JS eval machen zu müssen.

Die meisten Web-Crawler unterstützen kein clientseitiges Rendering, was Ihnen die Idee gibt, dass es keine triviale Aufgabe ist, JS beim Scraping von Inhalten auszuführen.