Wie Marklogic-Datenbank für die Echtzeitverarbeitung von Daten zu verwenden

Question

Ich versuche, Marklogic für die Echtzeitverarbeitung der Daten zu bewerten. Früher habe ich Kafka und Sturm für die Echtzeitbehandlung von Daten verwendet und nach der Verarbeitung in die Datenbank eingefügt. Ich bin neu bei marklogic, also kann mir jemand sagen, dass es irgendwas in marklogic gibt, das ich für die Echtzeitverarbeitung von Daten verwenden kann und nachdem ich die Daten verarbeitet habe, und es dann in die marklogic-Datenbank einfüge.

Answer 1

MarkLogic ist extrem skalierbar und verfügt über Funktionen wie Trigger, Alerting und CPF, für die Sie Ihre Logik erstellen können, um zu entscheiden, was mit eingehenden Inhalten zu tun ist. Aber ein paar Hinweise, um loszulegen:

MarkLogic ist eine Share-Nothing-Architektur, also CPU und HTTP-Server auf jedem Knoten sind unabhängig, so dass Sie daran denken müssen, wie eingehende Nachrichten ausgeglichen werden.

MarkLogic streamt auch nicht auf die Festplatte.

MarkLogic kann über einen großen HTTP-Client eine Verbindung herstellen, aber ich glaube nicht, dass es sofort einsatzbereite Funktionen gibt, um Inhalte an eine offene Verbindung anzuhängen (dies hängt damit zusammen, warum es auch keine FTP-Fähigkeit hat) glauben).

---

So weisen ich diese Elemente, so dass Sie verstehen, dass Sie mit einem verschiedenen Systemtyp handelt. Der Ansatz ist also nicht derselbe. In der Tat, mit der Verwendung von Pre-Commit-Trigger oder nur eine http-basierte Anwendung mit super-schnellen Funktionen wie Reverse-Abfragen und die Gestaltung Ihrer Lösung, wie MarkLogic zu arbeiten passt, kann die Verarbeitung großer Datenmengen für die Echtzeitverarbeitung ein großartige Lösung. Es gibt eine große Implementierung, an der ich gearbeitet habe und für die MarkLogic gerne große Mengen von Nachrichten von einem vorgeschalteten WebSphere Message Broker empfängt und verarbeitet. Einige Nachrichten werden intern behandelt und andere werden an Splunk und andere Systeme weitergeleitet.

---

ich Ihre Frage beantwortet in einer Art und Weise auf hohem Niveau, weil es nicht wirklich vor sich eine detaillierte Frage zu stellen - und Marklogic ist eine große, robuste Lösung für die Sie wirklich einen Überblick über auf eigene Faust bekommen müssen. Wenn Sie Zeit haben, gibt es einen 1-tägigen kostenlosen Trainingskurs, der die Grundlagen behandelt. So können Sie das Produkt besser verstehen und es für Ihre Bedürfnisse bewerten.

BTW: ALLE Schulungen für MarkLogic sind kostenlos. Hier ist der Link zum Grundlagenkurs: http://www.marklogic.com/training-courses/marklogic-fundamentals/Dieser kann auch auf eigene Faust genommen werden (Eigeninitiative)

Answer 2

Schauen Sie sich auch die MarkLogic Java Client API an, die innerhalb von Storm oder Kafka verwendbar sein soll. Vielleicht bietet Ihnen das eine Möglichkeit, mit der Echtzeitverarbeitung fortzufahren, die Sie gewohnt sind, und dann die Daten mit der Java-API in MarkLogic einzufügen.