Anhand welcher Kriterien lassen sich Innovationen bewerten?
Alexandra Evdokimova: Das ist eine Frage, die – Stand heute – noch immer nicht hundertprozentig beantwortet werden kann. Innovation ist oft ein iterativer Prozess, das finale Ergebnis im Vorfeld nur eingeschränkt planbar. Eine ganzheitliche, mehrdimensionale Bewertung, die an vordefinierten Messpunkten angesetzt wird, ist daher besonders wichtig. Man kann nicht einfach sagen „Die Innovation A schafft den Mehrwert X“. Vielmehr sollte der gesamte Innovationsverlauf mess- oder bewertbar sein, ohne das geplante Ziel aus den Augen zu verlieren. Die ursprüngliche Zielstellung sollte über den gesamten Prozessraum anpassbar bleiben, um bei Bedarf nachzusteuern.
Innovationsbewertung ist daher zunächst ein strukturiertes Vorgehen, um den Gesamtnutzen einer Innovation nach bestimmten Kriterien zu messen. Eine solche Bewertung kann qualitativ, quantitativ oder – vorzugsweise – beides sein. Dabei sollten möglichst alle am Innovationsprozess beteiligten und betroffenen Akteure eingebunden werden. Daraus kann dann auch, unabhängig von einem konkreten Produkt oder einer konkreten Zielerreichung, Nutzen abgeleitet werden, z. B. ein Mehrwert an Wissen, ein Beitrag zu einer lernenden Organisation oder auch ein Beteiligungseffekt.
Ab welchem Zeitpunkt eines Innovationsprozesses ist eine Innovationsbewertung sinnvoll?
Alexandra Evdokimova: Das kann entsprechend der Ausrichtung der Nutzenerwartung bzw. der beabsichtigten Ableitung von Nutzenparametern aus Innovationsvorhaben sehr unterschiedlich sein: Die Bewertung kann vorab (ex ante), während der Umsetzung und im Anschluss (ex post) erfolgen. Die Bewertung zu unterschiedlichen Zeitpunkten verfolgt unterschiedliche Ziele. Eine ex ante Bewertung dient der strategischen Ausrichtung und Zielsetzung sowie der allgemeinen Einschätzung, wie erfolgsversprechend ein Innovationsvorhaben ist. Eine strukturierte ex ante Bewertung kann auch dem Vergleich mehrerer Vorhaben dienen und eine fundierte Entscheidungsfindung ermöglichen. Die Bewertung während der Umsetzung dient dem Monitoring und soll dabei helfen, den bisherigen Umsetzungsstand mit dem ursprünglich beabsichtigten Nutzen abzugleichen und das Vorhaben entsprechend zu lenken. Außerdem trägt eine kontinuierliche Bewertung dazu bei, Innovation als fortlaufenden Lernprozess stärker wahrzunehmen, schneller aus Fehlern zu lernen und rechtzeitig Änderungen am Gesamtvorgehen einzuleiten.
Was geschieht mit Innovationsvorhaben, bei denen sich im Laufe der Bewertung herausstellt, dass sie nicht erfolgsversprechend sein werden?
Alexandra Evdokimova: Das ist das Spannende an der Innovationsbewertung: Auch Vorhaben, die das vorab definierte Ziel nicht erreichen werden, können - und aus unserer Sicht auch sollten - bei der ex-post-Betrachtung auf ihren Gesamtnutzen hin untersucht werden. Daraus können sich grundsätzliche Fragen an Projekt, Prozesse oder Organisationen ergeben: Haben wir neues Wissen erworben? Haben wir unsere Prozesse neu ausgerichtet? Sind neue Kriterien hinzugekommen, die wiederum den Bewertungsrahmen für den Nutzen von Innovation erweitern? Gerade weil Innovation eine wesentliche Verbesserung oder Erweiterung des Bestehenden zum Inhalt hat, sind Nutzen und Wirkung des Vorhabens – auch im Falle des „Scheiterns“ – in der Regel erst ex post vollwertig zu erfassen.
msg ist seit 2020 Mitglied im Nationalen E-Government Kompetenzzentrum e.V. (NEGZ). Welche Rolle spielen Innovationen und deren Bewertung auf dieser Plattform?
Alexandra Evdokimova: Das NEGZ ist eine unabhängige Plattform, die die Vernetzung von Politik, Verwaltung, Wissenschaft und Wirtschaft mit thematischem Fokus auf digitale Verwaltung und Modernisierung ermöglicht. Es fördert u.a. Forschungsprojekte und Studien. Wir engagieren uns dabei aktiv im Themenbereich Innovation im öffentlichen Sektor. Im Februar 2023 ist hier eine Kurzstudie zu genau diesem Themenbereich veröffentlicht worden, die gemeinsam mit der Universität Lübeck/Joint Innovation und uns erarbeitet und vom NEGZ gefördert wurde. Unter dem Titel „Innovationen bewerten. Ein gemeinwohlorientiertes Zielsystem für die Nutzenbewertung von Innovationsvorhaben im öffentlichen Sektor“ präsentiert das Autorenteam ein Modell, welches die Bewertung von Innovationsvorhaben im Public Sector vor, während und nach der Umsetzung ermöglicht. Im Mittelpunkt des Modells steht die Gemeinwohlorientierung. Die Ausgangsthese bei der Entwicklung des Modells war daher, dass sich jede Innovation im öffentlichen Sektor auch an dem Nutzen für das Gemeinwohl messen lassen muss.
Wie sieht dieses Modell konkret aus?
Alexandra Evdokimova: In der NEGZ-Studie schlagen wir ein gemeinwohlorientiertes Zielsystem bzw. Modell für die Nutzenbewertung von Innovationen vor. Die Bewertung des Nutzens kann zu jedem der bereits erwähnten Zeitpunkte erfolgen. Das Modell selbst besteht aus drei Nutzendimensionen – dem operativen, politischen und gesellschaftlichen Nutzen. Als eine zusätzliche Dimension wird die Innovationsfähigkeit vorgeschlagen, da Innovationen die allgemeine Innovationsfähigkeit der Organisation/des Staates direkt und indirekt erhöhen können.
Der operative Nutzen umfasst Verbesserungen, die unmittelbar mit Aufgaben der jeweiligen Organisation, in der bzw. für die die Innovation umgesetzt wird, verbunden sind. Diese Dimension enthält die Kriterien Effektivität, Effizienz, Resilienz und Nutzenzufriedenheit. Ein mögliches Handlungsfeld dabei ist zum Beispiel die Reorganisation von Prozessen oder die Risikominimierung durch systematische Erfassung und Behandlung von Risiken. Der politische Nutzen bezieht sich auf demokratische Werte und umfasst solche Kriterien wie Transparenz, Verantwortlichkeit, Partizipation und Zugänglichkeit. So kann eine Innovation aus diesem Gesichtspunkt bspw. dazu beitragen, dass Bürgerinnen und Bürger an Gestaltungs- und Entscheidungsprozessen besser teilhaben. Die dritte Dimension ist der gesellschaftliche Nutzen. Diese Dimension umfasst die Kriterien Vertrauen, persönliche Entwicklung, Lebensqualität, ökologische sowie ökonomisch-gesellschaftliche Nachhaltigkeit. Im Fokus steht dabei das Wohlergehen von Gesellschaft, Gemeinschaften und Einzelpersonen, auch in die Zukunft gedacht.
Die Dimensionen werden in Kriterien konkretisiert, die dann mit Indikatoren konkret gemessen werden können. Das Modell bietet dabei eine gewisse Flexibilität: je nach der Organisation und nach der Art des Innovationsvorhabens können Kriterien ergänzt, reduziert und unterschiedlich gewichtet werden. Wichtig ist bei der Anwendung des Modells aber, dass der Fokus auf Gemeinwohl/Public Value nicht aus den Augen verloren wird.
Du hast die Gemeinwohlorientierung des Modells angesprochen. Wie unterscheidet sich der Öffentliche Sektor zur Privatwirtschaft?
Alexandra Evdokimova: Die Innovationsfähigkeit als eine Eigenschaft des Staates wird in den letzten Jahren immer höher priorisiert. Es werden diverse Strategien, Projekte und Fördervorhaben auf EU-, Bundes-, Landes- und Kommunalebene auf- und umgesetzt. Für das Innovationsgeschehen im öffentlichen Sektor und insbesondere in der öffentlichen Verwaltung gelten grundsätzlich die allgemeinen Rahmenbedingungen für staatliches Handeln – Verlässlichkeit, Kontinuität, starke Bindung an rechtliche Grundlagen und eher gering ausgeprägter Wettbewerb.
Was neben diesen Rahmenbedingungen das Handeln im öffentlichen Sektor prägt, ist die schon mehrmals angesprochene Gemeinwohlorientierung. Die Frage, was zum Gemeinwohl beiträgt, hat keine eindeutige Antwort: das Verständnis vom Gemeinwohl wird ständig in einem gesellschaftlichen Prozess ausgehandelt und wandelt sich im Laufe der Zeit. Dementsprechend ändert sich auch die Wahrnehmung des Nutzens von Innovationen im öffentlichen Sektor. Die gemeinwohlorientierte Nutzenbewertung von Innovation soll dabei ermöglichen, diesen Wandel zu berücksichtigen.
Welche Fragen gilt es bei der Anwendung dieses Modells in der Praxis zu stellen und wie viel Zeit beansprucht eine Innovationsbewertung?
Alexandra Evdokimova: Bei der Anwendung des Bewertungsmodells für ein konkretes Innovationsvorhaben sind die entscheidenden Fragen: Was genau betrachten wir? Mit welchem Ziel machen wir die Nutzenbewertung? Wer soll an der Bewertung beteiligt sein? Wichtig ist auch die bereits vorhandene Daten- bzw. Wissenslage, wie beispielsweise Interviews, Nutzerbefragungen oder Strategien einzubeziehen. Auch bei Innovationen fängt man selten komplett bei null an. Für eine Bewertung während oder nach der Umsetzung im Workshop-Format müsste man grundsätzlich mindestens sechs Stunden, inklusive der Zeit für die Vorüberlegungen einplanen. Man kann die Bewertung aber auch nach Phasen gliedern und mehrere Workshops durchführen.
Das Modell wurde mit dem ITZ Bund bereits erprobt. Welche Erfahrungen konntet Ihr dabei sammeln?
Alexandra Evdokimova: Im Rahmen der Studienerstellung haben wir das erarbeitete Modell nicht nur durch Experteninterviews, sondern auch durch praktische Anwendung validiert. Dazu haben wir einen Workshop mit dem ITZ Bund durchgeführt. Dort haben wir ein Online-Whiteboard aufgesetzt, welches die einzelnen Schritte des Bewertungsprozesses visualisiert und eine iterative Vorgehensweise ermöglicht. Die Teilnehmenden haben die Relevanz und die Flexibilität des Modells grundsätzlich positiv beurteilt. Für uns als Autorenteam war es auch wichtig zu sehen, dass das Modell in einem überschaubaren Zeitrahmen und mit wenigen Ressourcen angewendet werden kann. Die einzelnen Verbesserungsvorschläge der Teilnehmenden haben wir in der Studie detailliert aufgeführt und ggf. in das finale Vorgehen eingearbeitet. Wir sind gespannt, wie unser Modell bei der interessierten Öffentlichkeit ankommt und stehen gerne bei Erprobungsprojekten unterstützend zur Seite.
Autorenprofil:
Alexandra Evdokimova ist Senior Business Consultant und seit 2019 bei msg im Public Sector tätig. Ihr Fokus liegt auf eGovernment-Projekten im Land Berlin in Themenbereichen Strategieentwicklung und OZG. Darüber hinaus ist sie an diversen Studien mit den Schwerpunkten Innovation und Strategie im öffentlichen Sektor beteiligt gewesen
