Über dieses Tool
Die meisten Teams können sagen, wie viele automatisierte Tests sie haben. Weniger können sagen, ob diese Tests ein Signal sind, dem jemand vertraut. Diese Scorecard stellt zwölf Fragen dazu, was heute tatsächlich passiert, je zwei für sechs Bereiche: Strategie und Umfang, Framework und Codequalität, CI/CD-Integration, Testdaten und Umgebungen, Zuverlässigkeit und Flakiness sowie Reporting und Ownership. Jede Antwort ist 0 bis 3 Punkte wert. Jeder Bereich wird aus seinen zwei Antworten auf 100 umgerechnet, und der Gesamtscore ist der Durchschnitt der sechs Bereiche. Ein Team mit einem wunderschönen Framework, das nur auf einem Laptop läuft, kann also nicht gut abschneiden. Der Gesamtscore entspricht einer von vier Stufen: Ad hoc (unter 35), Emerging (35 bis 59, im Aufbau), Established (60 bis 84, etabliert) und Optimised (85 und mehr, optimiert). Die schwächsten Bereiche unter 80, bis zu drei, erscheinen als konkrete nächste Schritte mit Links zu Lektionen und Tools, die sie behandeln. Die Bewertung folgt einem festen Schema, das unten in der FAQ ausgeschrieben ist. Sie ist ein Gesprächsanlass für eine Retro oder ein Planungsmeeting, kein Benchmark gegen andere Unternehmen: Es steht kein Datensatz anderer Teams dahinter, und das wird auch nicht behauptet.
So funktioniert es
- Beantworten Sie jede Frage mit der Option, die beschreibt, was Ihr Team heute tut. Ziele und Pläne zählen als die Option, auf der Sie jetzt stehen.
- Ihr Score aktualisiert sich, sobald alle zwölf Fragen beantwortet sind. Die Antworten werden in diesem Browser gespeichert, sodass Sie später zurückkehren können.
- Lesen Sie die Liste „Work on next“ (als Nächstes angehen): die schwächsten Bereiche zuerst, jeweils mit einem konkreten Schritt und Links zur Vertiefung.
- Mit „Copy share link“ (Link zum Teilen kopieren) senden Sie das Ergebnis an Ihr Team. Der Link enthält die Antworten, wer ihn öffnet, sieht also dieselben Scores. „Copy summary“ liefert reinen Text für Slack, ein Ticket oder ein Retro-Dokument.
Was die sechs Bereiche messen
- Strategie und Umfang: ob die Automatisierung gezielt auf Risiken ausgerichtet ist und ob die meisten Prüfungen auf der günstigsten Ebene liegen, die den Bug finden kann (Unit und API vor UI).
- Framework und Codequalität: ob Testcode strukturiert ist (Page- oder Component-Objects, Fixtures, Konfiguration) und wie Produktivcode reviewt wird und ob Locators Markup-Änderungen überstehen.
- CI/CD-Integration: ob Tests bei jeder Änderung laufen, ohne dass jemand daran denken muss, und wie lange ein Pull Request auf das Ergebnis wartet.
- Testdaten und Umgebungen: ob Tests ihre eigenen Daten verwalten und parallel und in beliebiger Reihenfolge laufen können, gegen eine Umgebung, die jedes Mal gleich ist.
- Zuverlässigkeit und Flakiness: ob ein roter Build ein echtes Problem bedeutet. Feste Sleeps und Wiederholen bis grün sind die üblichen Verursacher.
- Reporting und Ownership: ob sich ein Fehlschlag aus dem CI-Report diagnostizieren lässt und ob das ganze Team darauf reagiert, nicht nur QA.
So nutzen Sie das Ergebnis im Team
Bitten Sie zwei oder drei Personen (einen Tester, eine Entwicklerin, wer auch immer die Pipeline betreut), die Scorecard getrennt auszufüllen, und vergleichen Sie dann die Links. Wo die Antworten auseinandergehen, ist meist aufschlussreicher als der Score selbst: Wählt eine Person „on every pull request“ (bei jedem Pull Request) und eine andere „nightly“ (nächtlich), ist sich das Team nicht einig, was die Pipeline tut.
Wählen Sie pro Quartal einen Bereich aus „Work on next“. Einen Bereich von 33 auf 67 zu bringen ist mehr wert, als den Aufwand auf alle sechs zu verteilen. Füllen Sie die Scorecard am Quartalsende mit denselben Personen erneut aus.
FAQ zu Scorecard zur Testautomatisierungs-Reife
Wie wird der Score berechnet?
Jede Antwort ist 0, 1, 2 oder 3 Punkte wert, in der Reihenfolge der Optionen. Jeder Bereich hat zwei Fragen, also maximal 6 Punkte, angezeigt als Prozentwert. Der Gesamtscore ist der gerundete Durchschnitt der sechs Bereichsprozentwerte. Stufen: Ad hoc unter 35, Emerging 35–59, Established 60–84, Optimised 85 und mehr.
Ist das ein Branchen-Benchmark?
Nein. Die Scorecard ist ein festes Bewertungsschema auf Basis allgemein anerkannter Praxis in der Testautomatisierung, kein Vergleich mit anderen Unternehmen. Es steht kein Datensatz anderer Teams dahinter, und SDETRole sammelt Ihre Antworten nicht, um einen aufzubauen.
Wo werden meine Antworten gespeichert?
Im Local Storage Ihres Browsers und, wenn Sie ihn kopieren, im Fragment des Teilen-Links (der Teil nach #). Browser senden das Fragment nicht an Server, daher erhält SDETRole Ihre Antworten nie.
Überschreibt der Link einer Kollegin meine Antworten?
Nein. Ein geteiltes Ergebnis wird angezeigt, ohne gespeichert zu werden. Ändern Sie eine Antwort, beginnen Sie eine eigene Kopie auf Basis dieser Antworten, und diese Kopie wird in Ihrem Browser gespeichert.
Wir haben noch keine Automatisierung. Ist das trotzdem nützlich?
Ja. Antworten Sie ehrlich, dann erzielen Sie in den meisten Bereichen niedrige Werte; die Liste „Work on next“ zeigt Ihnen dann, wo Sie anfangen sollten. Das ist meist die Strategie (was zuerst automatisieren) und die CI (vom ersten Tag an automatisch ausführen).