Eine Evaluation der UX-Kompetenz der Organisation ist mit einigem Aufwand verbunden. Nutzer und Mitarbeiter müssen befragt und interviewt sowie die Ergebnisse mit einem Workshop zu Interventionen entwickelt werden. Dabei fällt es manchmal schwer, sich den Nutzen der Evaluation vor Augen zu führen beziehungsweise genau zu wissen, welche Art von Evaluation man durchführen soll. Darum möchte ich hier die Mehrwerte der verschiedenen Evaluationsarten kurz darstellen.
Evaluationen der UX-Kompetenz haben einen dreifachen Nutzens: Sie dienen der Verbesserung der Planung, der Beobachtung von Durchführungsprozessen und zur Beurteilung von Wirksamkeit und Nachhaltigkeit. Jeder dieser Nutzen ist durch eine andere Evaluationsarten besser zu erzielen.
Verbesserung der Planung
Zur besseren Planung können zu Beginn eines Vorhabens „Ex-ante-Evaluationen“ wertvolle Erkenntnisse für Planung und Konzeptionierung der Maßnahmen liefern (Silvestrini 2011). „Ex-ante-Evaluationen“ sind keine reinen Überprüfungen der Machbarkeit eines Change-Projekts. Sie untersuchen auch deren Evaluierbarkeit und beobachten potenzielle Störfaktoren während der Durchführung. Dadurch sind sie eine elementare Grundlage für das Monitoring.
Wird in einem Veränderungsprojekt zur Steigerung der UX-Kompetenz zu Beginn eine „Ex-ante-Evaluation“ durchgeführt, könnten die Erkenntnisse dabei helfen „die materiellen, personellen, institutionellen, finanziellen, theoretischen Rahmenbedingungen“ (Brandtstädter 1990, S. 217) zu klären. Dabei kann beispielsweise geklärt werden, welche Maßnahmen überhaupt machbar wären. Jede Organisation hat ihre eigenen Arten von Widerständen und Veränderungspotentialen. Daher bildet eine „Ex-ante-Evaluation“ die Basis des Ermöglichungsrahmens der Steigerung der UX-Kompetenz der Organisation.
Beobachtung von Durchführungsprozessen
Für die Beobachtung von Durchführungsprozessen können „On-going-Evaluationen“ in regelmäßigen Abständen verwendet werden. Dies geht soweit, dass eine Evaluation kontinuierlich in bestimmten Abständen durchgeführt werden kann, um den Mitgliedern der Organisation Informationen über die Entwicklung zu geben. Dadurch werden das kontinuierliche Monitoring und die Controlling-Prozesse unterstützt, die von der Organisation bereits eingesetzt werden.
Durch diese Art der Evaluation können Widerstände durch Mitarbeitergruppen früh sichtbar werden und ihre Sorgen durch kommunikative Maßnahmen begegnet werden. Beispielsweise bei der Einführung interdisziplinärer Teams kann es zu Problemen kommen, weil sich auf einmal neue Zusammenstellungen von Menschen in Gruppen ergeben. Auch bei Einführung von UX-Zielen können diese erst einmal zu Verunsicherungen führen, die durch geeignete Maßnahmen (z.B. Aufklärungsgesprächen) abgefangen werden können.
Beurteilung von Wirksamkeit und Nachhaltigkeit
Zur Beurteilung von Wirksamkeit und Nachhaltigkeit kann am Ende der durchgeführten Maßnahmen eine „Ex-post-Evaluation“ durchgeführt werden. Gegenstand dieser Evaluation sind Wirkungen und deren Nachhaltigkeit von Maßnahmen. Bei Programmen und Projekten dient diese abschließende Untersuchung zur Erzeugung von Lerneffekten, die zukünftige Planungen verbessern können.
Selbstverständlich ist dies nur möglich, wenn in den geplanten Projekten auch Budgets für die „Ex-post-Evaluation“ eingeplant werden, da zwischen Evaluation und Abschluss der Maßnahme ausreichend Zeit verstreichen muss um Effekte durch die Maßnahme Realität werden zu lassen. Maßnahmen zur Steigerung der UX-Kompetenz erzeugen nicht von heute auf morgen direkt einen messbaren Effekt. Gegeneffekte wie das Formen eines neuen Teams müssen von der Organisation erst verarbeitet werden.
Kombinationen von Evaluationsarten
Selbstverständlich lassen sich „Ex-ante-Evaluationen“, „On-going-Evaluationen“ und „Ex-post-Evaluation“ miteinander kombinieren, jedoch ist der Aufwand immer im Verhältnis vom Nutzen zu betrachten. Ich empfehle zu Beginn immer erst einmal eine „Ex-ante-Evaluationen“, da die Klärung von Rahmenparametern und auch das Aufdecken von Veränderungsmöglichkeiten für jede Intervention absolut grundlegend ist. Ob weitere Evaluationen notwendig sind, hängt in der Regel auch davon ab, wie aufwändig die Interventionsmaßnahmen sind. Irgendeine Form der Überprüfung beziehungsweise „Ex-post-Evaluation“ empfiehlt sich aber grundsätzlich, damit man validierte Erfolgsgeschichten vorzuzeigen hat, die in das Kulturgut der Organisation übergehen können.
Weiterführende Literatur
- Brandtstädter, J. (1990): Evaluationsforschung: Probleme der wissenschaftlichen Bewertung von Interventions- und Reformprojekten. In: Zeitschrift für Pädagogische Psychologie, J. 4, 1990, H. 4, S. 215–228.
- Silvestrini, S. (2011): Ex-ante Evaluation. Ein Planungsansatz für die Entwicklungszusammenarbeit. Münster 2011.
0 Kommentare