Use Cases of NIFI

Question

Ich habe eine Frage zu Nifi und seinen Möglichkeiten sowie dem entsprechenden Anwendungsfall dafür.

Ich habe gelesen, dass Nifi wirklich anstrebt, einen Raum zu schaffen, der eine flussbasierte Verarbeitung ermöglicht. Nachdem ich ein bisschen mit Nifi herumgespielt habe, ist mir auch klar geworden, dass ich die Daten so modellieren/gestalten kann, dass sie für mich nützlich sind. Ist es fair zu sagen, dass Nifi auch für die Datenmodellierung verwendet werden kann?

Danke!

Answer 1

Datenmodellierung kann vielen Leuten viele Dinge bedeuten, deshalb werde ich darauf achten, diesen Begriff hier zu verwenden. Was ich in dem, was Sie fragen, ist sehr klar ist, dass Apache NiFi ist ein großartiges System zu verwenden, um die Daten in das richtige Format und Schema und Inhalt, die Sie für Ihre Follow-on-Analyse und Verarbeitung benötigen. NiFi hat ein erweiterbares Modell, so dass Sie Prozessoren hinzufügen können, die dies tun können, oder Sie können die vorhandenen Prozessoren in vielen Fällen verwenden und Sie können sogar die ExecuteScript-Prozessoren verwenden, um Skripte zu schreiben, um die Daten zu manipulieren.

Answer 2

Datenmodellierung ist ein bisschen überladener Begriff, aber im Zusammenhang mit Ihrem Wunsch, die Daten auf eine für Sie nützliche Weise zu modellieren/zu gestalten, klingt es nach einem brauchbaren Ansatz. Der Rest ist unter dieser Annahme.

Während NiFi Datenfluss durch Prinzipien und Design eng verwandt mit Flow-based Programmierung (FBP) als Mittel verwendet, ist die Funktion eine Frage der Daten von Punkt A nach B (und möglicherweise wieder zurück). Natürlich reden Systeme nicht von Natur aus in den gleichen Protokollen, Formaten oder Schemata, daher muss es etwas geben, um die Daten so zu gestalten, dass der Verbraucher davon ausgeht, was der Produzent liefert. Dies führt zu gängigen Enterprise Integration Patterns (EIP) [1] wie Mediation und Routing. Im weiteren Sinne werden die Daten jedoch einfach an diejenigen übermittelt, die sie benötigen (Systeme, Benutzer usw.), wann und wie sie sie benötigen.

Joe Witt, einer der Schöpfer von NiFi, hielt einen großartigen Vortrag, der im Rahmen von Data Science bei einem Meetup mit dieser Idee der Datengestaltung im Einklang stehen könnte. Die Folien davon sind verfügbar [2].

Wenn Sie weitere Fragen haben, würde ich Ihnen zeigen, die Community-Mailing-Listen [3] und fragen Sie alle zusätzlichen Fragen, so dass Sie mehr eintauchen und eine breitere Perspektive bekommen können.

• [1] https://en.wikipedia.org/wiki/Enterprise_Integration_Patterns
• [2] http://files.meetup.com/6195792/ApacheNiFi-MD_DataScience_MeetupApr2016.pdf
• [3] http://nifi.apache.org/mailing_lists.html