E2E-Test Metrics

Entschuldigt, wenn diese Frage besser geeignet ist für Stapelaustausch Programmierer, ich habe dies auf beiden Websites gepostet verursachen Habe ich es auf dem Zaun war.E2E-Test Metrics

Frage: Gibt es wertvolle Metriken zu automatisierten E2E-Tests? (Ist es sinnvoll, irgendwelche Daten um sie herum zu sammeln?)

Kontext: Zum Beispiel, als ich meine Komponententests schrieb, implementierte ich ein Testabdeckungspaket, das% der Klassen, Anzahl der berührten Methoden usw. abdeckt. .

ein paar Punkte, stoße ich auf habe: zur Zeit

Test-Effizienz (Geschwindigkeit der Spezifikationen)
App Leistung (Antwort/Ladezeit)
Automation Fortschritt (Anzahl der Tests automatisierte VS # Tests können automatisiert werden)
Defect Efficiency (Anzahl der Mängel nach der Lieferung gefunden während der Prüfung VS Anzahl der Defekte)

Irgendwelche Ideen? Wenn es darauf ankommt, verwende ich Winkelmesser in einer Angular App.

Quelle

2016-06-27 Gunderson

Sie sollten zuerst die Ziele der Testautomatisierung in Ihrem Kontext definieren. Erstellen Sie dann die Metriken, um die Lücke zum gewünschten Ergebnis darzustellen. Es ist nutzlos, Metriken ohne einen genau definierten Zweck zu werfen. –

@FlorentB. wahr, danke für deine Eingabe. Ich nehme an, das Hauptziel ist eine Plausibilitätsprüfung, indem überprüft wird, ob die Hauptteile der App immer noch korrekt funktionieren, wenn die Entwicklung fortschreitet (ich denke, das ist ein Funktions-/Regressionstest?)) Ich will nicht sagen, dass es einfach nur ein glücklicher Weg ist (weil ich denke, dass es tiefer geht als das) ... aber aus Mangel an einem besseren Begriff können wir es als so betrachten. – Gunderson

Etwas, das mit Winkelmesser mir in den Sinn kommt: Sie können auch Code-Coverage mit e2e Tests messen, aber das würde einige Tricks zur Einrichtung benötigen, überprüfen Sie diese: https://www.npmjs.com/package/protractor-istanbul-plugin https://www.npmjs.com/package/grunt-protractor-coverage

Beachten Sie, dass dies nicht der Fall saubere Lösung - Ihr Code könnte minimiert werden, Serverseite nicht enthalten, denken Sie daran.

Auch Sie könnten Seite Leistung messen (Laufdrehzahl, JS Ausführungsgeschwindigkeit, CSS andere clientseitige Berechnungen machen) mit so etwas wie Winkelmesser-perf: https://github.com/axemclion/protractor-perf

aber auch bedenken, dass es viel verlangt Vorbereitungen, um das zu erreichen, aber trotzdem ist es cool.

Über Automatisierung Fortschritt/Prozent automatisierbar - ich denke, Sie können dies nicht automatisch verfolgen, nur wenn Ihre Anforderungen sehr detailliert sein werden, und in einem System mit API gespeichert. Dann könnten Sie Ihren Testfall mit spezifischen Anforderungen verknüpfen und diese verfolgen. Ich habe nie gesehen, dass das funktioniert.

Defect Effizienz - leichter mit JIRA verfolgen Berichte.

Quelle

2016-07-05 16:03:30 Xotabu4

Ehrfürchtig, schätze den Input. Ja, ich komme immer wieder auf die Frage zurück: "Ist das die Mühe wert?". Ich warte auf einige andere Antworten – Gunderson

Ja, macht es Sinn, Daten auf E2E Test-Metriken zu sammeln. Abgesehen von Testfällen Ausführung, Leistung und anderen Messungen, hilft es uns die Entscheidung für die nächste Phase der Aktivitäten teilzunehmen, wie schätzen Sie die Kosten & Zeitplan für zukünftige Projekte. Die Art der Verbesserung verstehen, die für den Erfolg des Projekts erforderlich ist. Nehmen Entscheidung über Prozesse oder Technologien zu modifizieren usw. Test Metrics ist das wichtigste der Qualität der Software zu messen.

Quelle

2016-07-12 11:55:55

Antwort

Verwandte Themen