Jeder möchte heute den Erfolg oder Misserfolg eines Projekts, einer Änderung oder auch der Mitarbeiter:innen messbar machen. Bei jeder Zielvereinbarung ist eine zentrale Frage „und wie machen wir das messbar?“. Deshalb sollen auch bei den meisten Methoden, wie zum Beispiel OKR, PDCA oder Agile Methoden, die Ergebnisse messbar gemacht werden. Und genau hier beginnt bereits der Bruch. Die Metriken werden zwar definiert, regelmäßig erfasst und hübsch auf einem Dashboard dargestellt. Jedoch fehlt häufig die Definition der Aussagen und vor allem die Grenzwerte und welche Entscheidungen daran gekoppelt werden sollen. Ebenfalls sind Metriken häufig nicht allein lesbar, weshalb man ebenfalls die Kontextmetriken bestimmen sollte, um eine gute Aussage und Entscheidung aus den Metriken zu treffen.
Es gibt diverse Tools, die alle möglichen Dinge auswerten und in schicken Grafiken auf einem Dashboard darstellen. Aber die Herausforderung besteht darin, diese bunten Dashboards mit Metriken zu füllen, die als Instrument dienen, um ein Projekt, eine Methode oder eine Änderungsprozess transparent und effektiv steuern zu können.
Wie definiere ich gute Metriken?
Gute Metriken werden nicht nur „nebenbei“ definiert, weil sie erfasst werden müssen oder irgendwas was messbar sein muss. Gute und aussagekräftige Metriken erfüllen immer einen Zweck und führen idealerweise zu automatisierten Entscheidungen.
Im folgenden Beitrag möchte ich Ihnen 5 aufeinander aufbauende Schritte zeigen, mit denen Sie gute Metriken definieren können:
- Definieren, was gemessen werden soll
- Welche Quellen werden verwendet?
- In welchen Intervallen soll die Metrik geprüft werden?
- Welche Grenzen sind für die Metrik relevant und welche Entscheidungen resultieren aus den Grenzen?
- Welche Kontextmetriken sind für die Metrik relevant?
Wenn Sie sich an diese Schritte halten, kommen Sie zu sehr guten Metriken, die nicht nur dem Selbstzweck dienen, sondern Sie tatsächlich in den Methoden und Projekten unterstützen und somit zu schnelleren und vor allem transparenteren Entscheidungen führen.
Werfen wir mal ein Blick auf die einzelnen Schritte in der Entwicklung einer guten Metrik:
1. Am Anfang steht das Ziel: Was wollen Sie eigentlich auswerten?
Im ersten Schritt definieren Sie, welche Größe Sie überhaupt messbar machen möchten. Hier reicht es natürlich nicht, lediglich zu sagen, „Ich möchte den Erfolg einer Maßnahme, einer Phase oder ähnliches messbar machen.“
Eine Metrik dient nämlich nicht dazu, zu messen, dass dieser Erfolg eingetreten ist, sondern ist ein Hilfsmittel, um sicherzustellen, dass während der zeitlichen Periode in festen Intervallen überprüft wird, ob der Erfolg im zeitlichen Korridor erreichbar ist. Wenn wir beim Beispiel Projekterfolg bleiben, wären die folgenden Metriken geeignete Analysegegenstände oder in Kombination als Kontextmetrik sinnvoll:
- Änderungsrate der Anforderungen
- Stabilität der Teamkapazitäten
- Velocity des Projektteams
- Anzahl der Projektrisiken im Verhältnis zum Projektfortschritt
- Und viele mehr
2. Nicht alle Daten sind erfassbar: Woher Sie Ihre Daten bekommen
Im nächsten Schritt, sollten Sie prüfen, ob die definierten Metriken überhaupt erfasst werden können und welche Quellen Sie dafür haben. Hier sollten Sie automatisierte Lösungen bevorzugen. Die Daten sollten sich aus den täglich verwendeten Tools ableiten. Als Quelle dient dann zum Beispiel ein funktionierendes Ticketsystem (z.B. Atlassian Jira) und Sie müssen kein weiteres Tool für die Erfassung des Arbeitsfortschritts einführen. Der Input für eine Metrik sollte vielmehr stets das „Abfallprodukt“ der täglichen Arbeit sein und nicht unangemessen zusätzliche Arbeit verursachen.
Natürlich kann es in diesem Schritt auch passieren, dass Sie feststellen, dass Sie gewisse Metriken nicht erfassen können, weil die Quelle der Daten fehlt. Hier haben Sie dann die Wahl, die Quelle zu schaffen, oder die Metriken nicht umzusetzen. Für diese Entscheidung sollten Sie sich im klaren sein, welche Relevanz die einzelne Metrik für Ihr Projekt hat.
Es darf jedoch nie passieren, dass Metriken auf Grundlage von falschen Quellen definiert werden.
3. Echtzeit ist nur was für Kontrollfreaks: Wann Sie Metriken wirklich erfassen sollten
Wenn es um Metriken geht, höre ich häufig das Ziel, dass diese natürlich in Echtzeit erfasst werden und sofort verfügbar sein müssen. Tatsächlich ist dies nur für wenige, sehr stark optimierte Metriken notwendig, wie z.B. das Healthmonitoring einer Webapplication, denn hier ist Verfügbarkeit ein Erfolgsfaktor.
Bei vielen anderen Metriken besteht dieser Bedarf nach Echtzeit dagegen nicht. Und würde bei stark schwankenden Metriken eher zu Stress führen. Die Metriken werden häufig nur zu festen Terminen und Reviews benötig. Dadurch definiert sich das natürliche Intervall für die Erfassung der Metrik. Bedeutet, das Erfassungsintervall bzw. Aktualisierungsintervall ergibt sich immer aus dem Zweck der Metrik und wann Entscheidungen auf Basis der Metrik getroffen werden sollen.
Beispiele, deren Zweck eine Echtzeiterfassung sinnvoll machen würde:
- Die Metrik der Motivation des Teams hilft (z.B. Burndown Diagramm)
- Beim Überschreiten von definierten Grenzen unmittelbare Reaktionen notwendig sind (Downtime, Healthmonitoring)
4. Apropos Grenzen…: Leg fest, was passiert, wenn sie überschritten werden
Ich sag es mal direkt:
Eine Metrik ohne Grenzen und daraus resultierende Aktionen ist nutzlos. Solche Metriken sehen zwar schön bunt und beeindruckend aus auf irgendwelchen Dashboards, helfen jedoch nicht weiter, wenn es um den tatsächlichen Zweck einer Metrik geht: Durch gezielte Messbarkeit von Parametern sicherstellen, dass ein Ziel im definierten Rahmen voraussichtlich erreicht werden kann.
Aus diesem Grund muss ich betonen, dass das aller wichtigste bei Metriken ist, Grenzen und Aktionen zu definieren, wenn diese gerissen werden. Können Sie bei Metriken keine Grenzen und Aktionen definieren, sollten Sie die Metrik nicht erheben und allen Beteiligten den Aufwand ersparen. Jetzt kann man sagen: Wozu brauch ich Grenzen bei trivialen Kennzahlen wie Mitarbeiterzahlen? Aber auch bei solchen ist es relevant: Wenn meine Mitarbeiterzahl unter eine kritische Anzahl fällt, erreiche ich meine Unternehmensziele nicht, deswegen ist beim Unterschreiten dieser Grenze unbedingt eine Aktion notwendig, wie das Recruiting neuer Mitarbeiter zu forcieren. Alternativ dient die Mitarbeiterzahl nur PR-Zwecken.
Ich persönlich empfehle tatsächlich bei Metriken eine Art Ampelsystem mit drei Bereichen, statt definierten Grenzwerten. Metriken können unter Umständen natürlich auch sehr volatil sein, sodass durch starke, kurzfristige Schwankungen unnötige Aktionen ausgelöst werden könnten.
Hier kommen wir tatsächlich auch zum letzten Punkt beim Festlegen von guten Metriken: Die Definition und Betrachtung der Kontextmetriken einer Metrik.
5. Erst gemeinsam gut: Metriken müssen immer mit Kontextmetriken betrachtet werden
Eine Metrik ist nur dann etwas wert, wenn man sie im richtigen Kontext betrachtet. Wer alleine auf Basis einer einzelnen Metrik Entscheidungen trifft ist, sorry, einfach naiv. Wozu wurden denn bitte die wunderschönen Dashboard geschaffen? Ja genau, um Metriken im Kontext zu betrachten. Hier werden die Metriken untereinander vernetzt, weil die einzelne erfasste Metrik häufig für sich alleine nicht aussagekräftig ist. Dies kann dazu führen, dass falsche Entscheidungen oder Annahmen getroffen werden. Hierzu folgendes Beispiel:
• Die Velocity eines agilen Entwicklungsteam verlangsamt sich.
Bei der Verlangsamung der Velocity können Sie zwar das Reißen der definierten Grenzen feststellen und daraus auch schließen, dass es zu einer Verzögerung bei der Zielerreichung kommen könnte. Jedoch können Sie basierend auf dieser einzigen Metrik keine Aktion ableiten. Die Ursache für die Verlangsamung ergibt sich somit erst aus den Kontextmetriken. In diesem Zusammenhang könnten folgenden Metriken geeignete Kontextmetriken sein:
- Verfügbarkeit des Projektteams (Urlaub, Krankheit, andere Projekte)
- Änderungsrate der Tickets und Anforderungen
- Verfügbarkeit von Arbeitsumgebungen
Diese Kontextmetriken würden weitere Informationen geben, ob die Verlangsamung aufgrund der Komplexität der Aufgabe oder fehlender Kapazitäten oder anderer Randbedingungen entstanden ist. Anhand des Beispiels zeigt sich, dass die zusätzliche Auswertung der Kontextmetriken zu unterschiedlichen Aktionen führen würden.
Metriken sind gut gemacht ein starkes Werkzeug
Beachtet man diese Leitplanken für das Erstellen von Metriken, erhält man, meiner Meinung nach, starke Instrumente um Projekte, Methoden und Änderungsprozesse transparent und nachhaltig zu steuern. Ich würde sogar so weit gehen, dass gute Metriken dazu führen, dass Entscheidungen schneller, fundierter, nachhaltiger und für alle Beteiligten nachvollziehbar getroffen werden. Dafür ist es notwendig, sich zunächst klarzumachen, was Sie auswerten möchten und woher Sie diese Informationen bekommen. Sie brauchen sinnvolle Intervalle und sollten Erfassungszeitpunkte festlegen. Für die Definition von Grenzwerten oder Warnstufen und den daraus resultierenden Eskalationsmaßnahmen sollten Sie sich außerdem im Klaren darüber sein, in welchem Kontext Sie die einzelnen Metriken auswerten wollen. Denn nur unter Berücksichtigung ihrerr Kontextmetriken führen Metriken zu tatsächlich belastbaren Entscheidungen.
