2016-05-20 15 views
1

Also verwende ich EventHubs für Daten Pipeline-Warteschlange, aber um die Vorteile der gepufferten Aufnahme zu erhalten, muss ich wissen, wie viele Elemente in einer Partition zu einer Zeit sind. Abhängig von der Kundengruppe und der Partitions-ID kann dies einen massiven Einblick geben, welche Empfänger skaliert werden müssen oder nicht wie erwartet funktionieren.Holen Sie sich die Anzahl der Elemente für einen Azure EventHub

Ich bin mir bewusst, dass Sie Warnungen basierend auf der Anzahl der Nachrichten erstellen können, aber was ich wirklich will, ist die Möglichkeit, die aktuelle Anzahl der Elemente eines bestimmten Namespace, EventHub, Consumer Group oder Partition (was auch immer verfügbar ist) von innen anzufordern mein C# -Code.

Ich kann sehen, dass Sie die Größe der Warteschlange in Bytes mithilfe der .NET ServiceBus API leicht abrufen können, aber ich sehe keine Möglichkeit, die Elementanzahl zu erhalten?

+0

Es klingt wie das, was Sie eigentlich fragen, ist eine Möglichkeit, den Verbraucher Lag der verschiedenen Partitionen zu erzählen (oder zumindest das ist, was man im Allgemeinen braucht). Das ist "wie viele Artikel ist ein bestimmter Verbraucher in jeder Partition". Ich würde vorschlagen, eine andere Frage zu stellen, obwohl ich diesen sehr notwendigen Code noch nicht geschrieben habe. Es ist üblich, mit Apache Kafka zu überwachen. – cacsar

Antwort

1

Laut der Event Hubs REST API gibt es keine Möglichkeit, die Anzahl der Nachrichten im Event Hub für einen genauen Moment zu erhalten. Sie können versuchen, mit dem Betrag der eingehenden Nachrichten und der Anzahl der ausgehenden Nachrichten zu spielen oder die Größe der Nachrichten im Hub zu ermitteln, wenn Sie mindestens ca. die Größe (und dividiere dadurch).

+0

Seltsam, ich habe letzte Woche ein Video von Build 2016 angeschaut, in dem Event Hubs für die gepufferte Aufnahme verkauft wurden, mit dem Hinweis, dass man die Größe der Warteschlangen überwachen könnte - die Dateigröße der Warteschlange gibt keinen Hinweis auf die Artikelgröße Es sei denn, Sie haben konsistente Nutzlastgrößen: -/ – tommed

+1

Quote: "Im Gegensatz zu Warteschlangen gibt es jedoch kein Konzept der Warteschlangenlänge in Azure Event Hubs, da die Daten als Stream verarbeitet werden". https://blogs.msdn.microsoft.com/kaevans/2015/02/24/scaling-azure-event-hub-processing-with-worker-roles/ – tommed