Nur lesen, wenn die XML-Daten aktualisiert werden

Question

Ich bin in der Lage, RSS mit PHP zu analysieren - Was ich suche, ist in der Lage, nur den aktualisierten Inhalt zu erhalten, und nichts zu tun, wenn es keine neue Aktualisierung der RSS gibt .

Zum Beispiel habe ich diese RSS File, und wenn es keinen neuen Inhalt gibt, passiert nichts, aber wenn es einen neuen Inhalt gibt, möchte ich meinen Benutzern das neueste RSS-Update senden, und nicht erneut senden, was sie bereits haben. Ich analysiere und sende nur den Titel und den Link.

Ich benutze Cronjob, um jede Stunde nach Updates zu überprüfen. Meine Frage ist, wie kann ich feststellen, dass der Feed jetzt aktualisiert und nicht der gleiche wie der letzte ist? Hier ist die PHP file, die ich benutze, um den RSS zu lesen. Schreibe ich den letzten Inhalt in Datei und vergleiche sie oder gibt es eine andere Möglichkeit zu bestimmen, dass sich der Inhalt nun von dem letzten unterscheidet?

Update: Ich musste diesen Beitrag wieder auferstehen lassen, weil ich immer noch versuche, es zur Arbeit zu bringen. Obwohl ich ein paar Antworten akzeptiert habe, waren sie sehr schwer zu implementieren, zum Beispiel sah die Hashing-Option zunächst wie eine gute Idee aus, aber da Tausende von RSS geprüft würden, wäre es fast unmöglich, sie alle zu hacken.

Wieder hat jemand HTTP Cache vorgeschlagen - ich konnte keine einfache Demo finden, also bin ich praktisch festgefahren.

Jeder weitere Vorschlag würde sehr geschätzt werden.

Answer 1

Sie Hashes für diesen nutzen könnten, auf zwei Arten:

1. Aktualisierung zu erleichtern - Wenn ein Update anfordern, hash Sie das gesamte Futter und das Ergebnis mit dem Hash aus der letzten Zeit vergleichen - wenn sie Identisch, Sie wissen, dass sich der Feed nicht geändert hat und vor dem Parsen anhalten kann.
2. Um Änderungen zu identifizieren - Beim Parsen, hash jedes Element und vergleichen Sie es mit den Hashes von früheren Läufen gespeichert. Wenn es einem entspricht, wissen Sie, dass Sie es schon einmal gesehen haben.

Wenn das betreffende Futtermittel guids für seine Produkte bietet könnten Sie diesen Prozess verfeinern guid <> Hash-Paare speichern. Dies würde den Vergleich beschleunigen, da Sie nur Elemente mit bekannten früheren Versionen vergleichen würden, anstatt mit allen vorherigen Elementen zu vergleichen.

Sie benötigen immer noch einen Ablauf-/Bereinigungsmechanismus, um die Anzahl gespeicherter Hashes in Grenzen zu halten. Da Sie jedoch nur relativ kurze Strings speichern (abhängig vom gewählten Hash-Algorithmus), sollten Sie in der Lage sein, einen ziemlich großen Wert zu halten Rückstand, bevor Leistungsprobleme auftreten.

Answer 2

Ihre Kunden werden immer nach Ihren Feed-Daten fragen, so dass Sie nicht unbedingt steuern können, wenn sie fragen. Ich glaube nicht, dass die meisten Feed-Reader HTTP-Cache-Control-/Expires-Header befolgen, so dass Sie sich nicht darauf verlassen können, die HTTP-Spezifikation zu verwenden und das HTTP-Caching zu nutzen.

Ich denke, Ihre beste Wette ist, nur Ihre letzte Antwort zwischenzuspeichern und alle nachfolgenden Anfragen aus dem Cache zu senden - den Cache entsprechend aktualisieren, wenn Änderungen vorgenommen werden. Effektiv bedeutet dies, dass Ihre Kosten, um auf jeden Client und seine veralteten Daten zu antworten, ziemlich nahe bei 0 liegen, wenn Sie es einfach aus Memcache oder dem Dateisystem ziehen.

Answer 3

Aufgrund der Vielfalt der RSS gibt es keine einfache Lösung für das Problem, das Sie aufgeworfen haben. Das Hauptproblem ist, wie man die Eindeutigkeit des rss Artikels bestimmt. Es kann guid sein, Zeit oder Inhalt selbst veröffentlichen, aber es ist vielleicht schwierig, das automatisch zu erkennen.

Sobald Sie die Eindeutigkeitskriterien kennen, können Sie alle "alten" Elemente beibehalten und sie mit den neuesten vergleichen, die Sie erhalten.

HTTP-Cache-Kontrolle und Expires-Header könnte als eine Optimierung für die Websites verwendet werden, die dies unterstützen, aber leider einige nicht.

Answer 4

HTTP Conditional GET ist wahrscheinlich so nah wie du wirst zu bekommen, was Sie wollen.

Answer 5

@ Henrik Lösung richtig ist, aber es könnte am einfachsten, Sie mit einem Beispiel der Hashing-Daten zu liefern:

// hash the three channel variables 
$hash = sha1($channel_title . $channel_link . $channel_desc); 

// here you should check the currently stored database hashed 
// value against current hash value to see if any channel variables 
// have recently changed 
if ($database_hash != $hash) { 
    // you need to update the channel data in your database 
    // including the new hash value 
} 

for ($i = 0; $i < 3; $i++) { 

    // hash the item values 
    $hash = $item_title . $item_link . $item_description 

    // here you should check the currently stored database hashed 
    // value against all item hash values to see if any item variables 
    // have recently changed 
    if ($database_hash != $hash) { 
     // you need to update the item data in your database 
     // including the new hash value 
    } 

} 

Auch, wenn Sie eine schnelle Überprüfung tun wollen, um zu bestimmen, ob irgendwelche Daten in dem Die XML-Datei hat sich verändert, Sie könnten das XML als String hashen. Sie sollten diesen Wert speichern und bei jedem Cronjob überprüfen, ob der Wert sich geändert hat (dies weist darauf hin, dass sich einige Daten in der XML-Datei geändert haben).

$overall_hash = sha1($xmlDoc->saveXML());