Vergleichen der Testüberdeckungsmetriken zum Identifizieren einer Erhöhung/Verringerung nach der Implementierung der Automatisierung

Question

Angenommen, ich möchte die Testabdeckung für Projekte vor und nach der Implementierung eines Automatisierungsframeworks vergleichen.

Ich sammelte Metriken für alle Projekte in Bezug auf Testabdeckung.

Würde es gerade avg sein. Testabdeckung für Projekte vor vs. Testabdeckung für Projekte nach Implementierung des Automatisierungsframeworks?

Würde ich es gewichten müssen?

Wie würde dies am besten erreicht werden?

Answer 1

Ich nehme an, Sie bedeuten Leitungsabdeckung.

Linienabdeckung für ein Projekt ist die Anzahl der gedeckten Linien dividiert durch die Anzahl der abdeckbaren Linien.

Der sinnvollste Erfassungsgrad für eine Reihe von Projekten ist der gleiche: die Gesamtzahl der abgedeckten Linien in allen Projekten dividiert durch die Gesamtzahl der abdeckbaren Linien in allen Projekten. Dadurch wird die Abdeckung für jedes Projekt durch die Anzahl der Zeilen im Projekt gewichtet. (Die durchschnittliche Abdeckung für jedes Projekt würde die Anzahl der Zeilen in jedem Projekt ignorieren.) Dies ist sinnvoll, wenn man bedenkt, dass die Anzahl der Fehler pro nicht abgedeckte Zeile in den Projekten wahrscheinlich in etwa konstant ist.

Answer 2

Sie könnten das tun.

Ich denke, Sie wären besser dran, sich auf die Testabdeckung neuer implementierter Funktionen zu konzentrieren. Der alte existierende Code funktioniert vermutlich "gut genug" oder Sie würden ihn nicht schon versenden.

Was Sie tun sollten, ist, den Code zu identifizieren, der geändert hat von der alten Version der Anwendung auf die neue, und messen Sie die Testabdeckung darauf.
Das wird ziemlich schwierig genug, um loszulegen. Aber es wird die Leute zwingen, die neuen Funktionen zu testen.

Sie können die Testabdeckung für die gesamte Anwendung im Laufe der Zeit verringern, aber beim Start erwarten Sie eine sehr enttäuschende Abdeckung.