Application Insights Logs Analyse

Ich habe Ereignisprotokolle von Application Insights, wo Ereignisse protokolliert und als JSON in Textdateien gespeichert werden, die in einem BLOB-Speicher gespeichert sind. Ich muss diese jsons finden, wo eine customProperty ein Kriterium erfüllt. Die Anzahl der Trefferjons ist sehr gering (etwa 10 oder 20), jedoch sind die protokollierten Daten sehr groß. Irgendwelche Vorschläge, wie dies effizient erreicht werden kann?Application Insights Logs Analyse

Ich habe in Microsoft-Dokumentation gelesen, dass HDInsights Blob-Speicher verstehen und effizient ist. Ist das in meinem Szenario relevant? Wenn ja, könnte jemand einige Startpunkte geben.

Quelle

2016-06-10 Aditya Kiran

HDInsight ist eine Hadoop-kompatible Implementierung und eine gute Technologie für die Protokollanalyse. Es ist being stated auf der AppInsighs Seite über Telemetrie als auch. "Betrachten Sie in größeren Maßstäben HDInsight - Hadoop-Cluster in der Cloud. HDInsight bietet eine Vielzahl von Technologien zum Verwalten und Analysieren großer Datenmengen."

Auf derselben Seite finden Sie möglicherweise Informationen zum kontinuierlichen Export von AppInsights-Telemetrie in den Azure Blobs-Speicher.

Der nächste Schritt könnte die Verwendung von HDInsight für die Analyse sein, aber Sie müssen eine Art Algorithmus implementieren.

Zum Hochladen der Daten von Azure Blob auf HDInsight sehen Sie möglicherweise that link (und this zur Abfrage).

Zum Verständnis der Protokollverarbeitungspipeline, die eine häufige Aufgabe für Hadoop/HDInsight ist, sind einige exemplarische Vorgehensweisen und Handbücher verfügbar, z. B. this. Aber Sie müssen diesen Algorithmus an Ihr Szenario anpassen.

Quelle

2016-06-10 14:00:34

Um mit Application Insights von HDInsight arbeiten zu können, müssen Sie die Protokolle zuerst in den BLOB-Speicher exportieren. Dies muss ein Blob-Speicher sein, für den HDInsight konfiguriert wurde. Dann müssen Sie HDInsight über die Dokumentstruktur informieren. Wenn Sie Spark in HDInsight verwenden, kann es glücklicherweise die JSON-Struktur selbst herausfinden. –

Es gibt jetzt ein Dokument unter https://azure.microsoft.com/en-us/documentation/articles/hdinsight-spark-analyze-application-insight-logs/, das einige Anleitungen und Beispiele dazu bietet, wie Sie dies mit Spark in HDInsight tun können. –

Im Falle von Application Insights gibt es eine andere Option. Neues Analysetool Application Insights Analytics wurde eingeführt.

https://blogs.msdn.microsoft.com/bharry/2016/03/28/introducing-application-analytics

Dieses Tool alows Sie auch mit allen Daten protokolliert arbeiten, um die spezifische Sprache mit:

requests 
| where timestamp >= ago(24h) 
| summarize count() by client_CountryOrRegion 
| order by count_ desc

Sie Daten exportieren können, die Sie benötigen.

Quelle

2016-06-13 14:52:06

Antwort

Verwandte Themen