Wie du in 5 Schritten zu guten Metriken und besseren Entscheidungen kommst

19.7.2022

von

Sebastian Gerlich

Jeder möchte heute den Erfolg oder Misserfolg eines Projekts, einer Änderung oder auch der Mitarbeiter:innen messbar machen. Bei jeder Zielvereinbarung ist eine zentrale Frage „und wie machen wir das messbar?“. Deshalb sollen auch bei den meisten Methoden, wie zum Beispiel OKR, PDCA oder Agile Methoden, die Ergebnisse messbar gemacht werden. Und genau hier beginnt bereits der Bruch. Die Metriken werden zwar definiert, regelmäßig erfasst und hübsch auf einem Dashboard dargestellt. Jedoch fehlt häufig die Definition der Aussagen und vor allem die Grenzwerte und welche Entscheidungen daran gekoppelt werden sollen.  Ebenfalls sind Metriken häufig nicht allein lesbar, weshalb man ebenfalls die Kontextmetriken bestimmen sollte, um eine gute Aussage und Entscheidung aus den Metriken zu treffen.

Es gibt diverse Tools, die alle möglichen Dinge auswerten und in schicken Grafiken auf einem Dashboard darstellen. Aber die Herausforderung besteht darin, diese bunten Dashboards mit Metriken zu füllen, die als Instrument dienen, um ein Projekt, eine Methode oder eine Änderungsprozess transparent und effektiv steuern zu können.

Wie definiere ich gute Metriken?

Gute Metriken werden nicht nur „nebenbei“ definiert, weil sie erfasst werden müssen oder irgendwas was messbar sein muss. Gute und aussagekräftige Metriken erfüllen immer einen Zweck und führen idealerweise zu automatisierten Entscheidungen.

Im folgenden Beitrag möchte ich euch 5 aufeinander aufbauende Schritte zeigen, mit denen ihr gute Metriken definieren könnt:

  1. Definieren, was gemessen werden soll
  2. Welche Quellen werden verwendet?
  3. In welchen Intervallen soll die Metrik geprüft werden?
  4. Welche Grenzen sind für die Metrik relevant und welche Entscheidungen resultieren aus den Grenzen?
  5. Welche Kontextmetriken sind für die Metrik relevant?

Wenn du dich an diese Schritte hältst, kommst du zu sehr guten Metriken, die nicht nur dem Selbstzweck dienen, sondern dich tatsächlich in den Methoden und Projekten unterstützen und somit zu schnelleren und vor allem transparenteren Entscheidungen führen.

Werfen wir mal ein Blick auf die einzelnen Schritte in der Entwicklung einer guten Metrik:

1. Am Anfang steht das Ziel: Was willst du eigentlich auswerten?

Im ersten Schritt definierst du, welche Größe du überhaupt messbar machen möchtest. Hier reicht es natürlich nicht, lediglich zu sagen, „Ich möchte den Erfolg einer Maßnahme, einer Phase oder ähnliches messbar machen.“

Eine Metrik dient nämlich nicht dazu, zu messen, dass dieser Erfolg eingetreten ist, sondern ist ein Hilfsmittel, um sicherzustellen, dass während der zeitlichen Periode in festen Intervallen überprüft wird, ob der Erfolg im zeitlichen Korridor erreichbar ist. Wenn wir beim Beispiel Projekterfolg bleiben, wären die folgenden Metriken geeignete Analysegegenstände oder in Kombination als Kontextmetrik sinnvoll:

  • Änderungsrate der Anforderungen
  • Stabilität der Teamkapazitäten
  • Velocity des Projektteams
  • Anzahl der Projektrisiken im Verhältnis zum Projektfortschritt
  • Und viele mehr

2. Nicht alle Daten sind erfassbar: Woher du deine Daten bekommst

Im nächsten Schritt, solltest du prüfen, ob die definierten Metriken überhaupt erfasst werden können und welche Quellen du dafür hast. Hier solltest du automatisierte Lösungen bevorzugen. Die Daten sollten sich aus den täglich verwendeten Tools ableiten.  Als Quelle dient dann zum Beispiel ein funktionierendes Ticketsystem (z.B. Atlassian Jira) und du musst kein weiteres Tool für die Erfassung des Arbeitsfortschritts einführen. Der Input für eine Metrik sollte vielmehr stets das „Abfallprodukt“ der täglichen Arbeit sein und nicht unangemessen zusätzliche Arbeit verursachen.

Natürlich kann es in diesem Schritt auch passieren, dass du feststellst, dass du gewisse Metriken nicht erfassen kannst, weil die Quelle der Daten fehlt. Hier hast du dann die Wahl, die Quelle zu schaffen, oder die Metriken nicht umzusetzen. Für diese Entscheidung solltest du dir im klaren sein, welche Relevanz die einzelne Metrik für dein Projekt hat.

Es darf jedoch nie passieren, dass Metriken auf Grundlage von falschen Quellen definiert werden.

3. Echtzeit ist nur was für Kontrollfreaks: Wann du Metriken wirklich erfassen solltest

Wenn es um Metriken geht, höre ich häufig das Ziel, dass diese natürlich in Echtzeit erfasst werden  und sofort verfügbar sein müssen. Tatsächlich ist dies nur für wenige, sehr stark optimierte Metriken notwendig, wie z.B. das Healthmonitoring einer Webapplication, denn hier ist Verfügbarkeit ein Erfolgsfaktor.

Bei vielen anderen Metriken besteht dieser Bedarf nach Echtzeit dagegen nicht. Und würde bei stark schwankenden Metriken eher zu Stress führen. Die Metriken werden häufig nur zu festen Terminen und Reviews benötig. Dadurch definiert sich das natürliche Intervall für die Erfassung der Metrik. Bedeutet, das Erfassungsintervall bzw. Aktualisierungsintervall ergibt sich immer aus dem Zweck der Metrik und wann Entscheidungen auf Basis der Metrik getroffen werden sollen.

Beispiele, deren Zweck eine Echtzeiterfassung sinnvoll machen würde:

  • Die Metrik der Motivation des Teams hilft (z.B. Burndown Diagramm)
  • Beim Überschreiten von definierten Grenzen unmittelbare Reaktionen notwendig sind (Downtime, Healthmonitoring)  

4. Apropos Grenzen…: Leg fest, was passiert, wenn sie überschritten werden

Ich sag es mal direkt:

Eine Metrik ohne Grenzen und daraus resultierende Aktionen ist nutzlos. Solche Metriken sehen zwar schön bunt und beeindruckend aus auf irgendwelchen Dashboards, helfen jedoch nicht weiter, wenn es um den tatsächlichen Zweck einer Metrik geht: Durch gezielte Messbarkeit von Parametern sicherstellen, dass ein Ziel im definierten Rahmen voraussichtlich erreicht werden kann.

Aus diesem Grund muss ich betonen, dass das aller wichtigste bei Metriken ist, Grenzen und Aktionen zu definieren, wenn diese gerissen werden. Kannst du bei Metriken keine Grenzen und Aktionen definieren, solltest du die Metrik nicht erheben und allen Beteiligten den Aufwand ersparen. Jetzt kann man sagen: Wozu brauch ich Grenzen bei trivialen Kennzahlen wie Mitarbeiterzahlen? Aber auch bei solchen ist es relevant: Wenn meine Mitarbeiterzahl unter eine kritische Anzahl fällt, erreiche ich meine Unternehmensziele nicht, deswegen ist beim Unterschreiten dieser Grenze unbedingt eine Aktion notwendig, wie das Recruiting neuer Mitarbeiter zu forcieren. Alternativ dient die Mitarbeiterzahl nur PR-Zwecken.

Ich persönlich empfehle tatsächlich bei Metriken eine Art Ampelsystem mit drei Bereichen, statt definierten Grenzwerten. Metriken können unter Umständen natürlich auch sehr volatil sein, sodass durch starke, kurzfristige Schwankungen unnötige Aktionen ausgelöst werden könnten.

Hier kommen wir tatsächlich auch zum letzten Punkt beim Festlegen von guten Metriken: Die Definition und Betrachtung der Kontextmetriken einer Metrik.

5. Erst gemeinsam gut: Metriken müssen immer mit Kontextmetriken betrachtet werden

Eine Metrik ist nur dann etwas wert, wenn man sie im richtigen Kontext betrachtet. Wer alleine auf Basis einer einzelnen Metrik Entscheidungen trifft ist, sorry, einfach naiv. Wozu wurden denn bitte die wunderschönen Dashboard geschaffen? Ja genau, um Metriken im Kontext zu betrachten. Hier werden die Metriken untereinander vernetzt, weil die einzelne erfasste Metrik häufig für sich alleine nicht aussagekräftig ist. Dies kann dazu führen, dass falsche Entscheidungen oder Annahmen getroffen werden. Hierzu folgendes Beispiel:

• Die Velocity  eines agilen Entwicklungsteam verlangsamt sich.

Bei der Verlangsamung der Velocity kannst du zwar das Reißen der definierten Grenzen feststellen und daraus auch schließen, dass es zu einer Verzögerung bei der Zielerreichung kommen könnte. Jedoch kannst du basierend auf dieser einzigen Metrik keine Aktion ableiten. Die Ursache für die Verlangsamung ergibt sich somit erst aus den Kontextmetriken. In diesem Zusammenhang könnten folgenden Metriken geeignete Kontextmetriken sein:

  • Verfügbarkeit des Projektteams (Urlaub, Krankheit, andere Projekte)
  • Änderungsrate der Tickets und Anforderungen
  • Verfügbarkeit von Arbeitsumgebungen

Diese Kontextmetriken würden weitere Informationen geben, ob die Verlangsamung aufgrund der Komplexität der Aufgabe oder fehlender Kapazitäten oder anderer Randbedingungen entstanden ist. Anhang des Beispiels zeigt sich, dass die zusätzliche Auswertung der Kontextmetriken zu unterschiedlichen Aktionen führen würden.

Kontextmetriken im Zusammenspiel mit der Metrik: drei Kästen mit der Beschriftung Kontextmetrik zeigt mit je einem Pfeil auf einen Kreis mit der Beschriftung Metrik

Metriken sind gut gemacht ein starkes Werkzeug

Beachtet man diese Leitplanken für das Erstellen von Metriken, erhält man, meiner Meinung nach, starke Instrumente um Projekte, Methoden und Änderungsprozesse transparent und nachhaltig zu steuern. Ich würde sogar so weit gehen, dass gute Metriken dazu führen, dass Entscheidungen schneller, fundierter, nachhaltiger und für alle Beteiligten nachvollziehbar getroffen werden. Dafür ist es notwendig, dir zunächst klarzumachen, was du auswerten möchtest und woher du diese Informationen bekommst. Du brauchst sinnvolle Intervalle und solltest Erfassungszeitpunkte festlegen. Für die Definition von Grenzwerten oder Warnstufen und den daraus resultierenden Eskalationsmaßnahmen solltest du dir außerdem im Klaren darüber sein, in welchem Kontext du die einzelnen Metriken auswerten willst. Denn nur unter Berücksichtigung deiner Kontextmetriken führen Metriken zu tatsächlich belastbaren Entscheidungen.

Auf dem neusten Stand bleiben

Wir informieren dich von Zeit zu Zeit über unsere Fortschritte.
Kein Spam, versprochen!

© 2021 Con Cubo GmbH