Lars Balzer - evaluiert (E-Book)

Inhaltlich folgt dieses Buch der folgenden Position: Systematische Evaluationen sind von unschätzbarem Wert für aktuelle und zukünftige Bemühungen zur Verbesserung der Lebensumstände der Menschheit. «Our position is clear: Systematic evaluations are invaluable to current future efforts to improve the lot of humankind» (Rossi, Lipsey & Freeman, 2004, S.419). Oder, etwas nüchterner: Es kann «die Schlussfolgerung gezogen werden, dass Evaluation noch nie so notwendig war, wie heute» (Stockmann & Meyer, 2014, S.22). Diese beiden Autoren bescheinigen der Evaluation eine bemerkenswerte und globale Erfolgsgeschichte. In neuerer Zeit sei es kaum einem anderen wissenschaftlichen Ansatz gelungen, sich mit vergleichbarem Erfolg zu verbreiten: «In general, the history of evaluation is a remarkable and globally effective success story. It is hard to find another academic approach which has been diffused with comparable success» (Stockmann & Meyer, 2016, S.9). Für die Schweiz halten die Politikwissenschaftler Sager, Widmer und Balthasar (2017, S.313) fest: «Die Entwicklung einer Evaluationskultur in der Schweiz ist gerade in der letzten Dekade weiter vorangeschritten.» Förderlich hierfür dürfte auch die Einführung von Artikel 170 in die Bundesverfassung gewesen sein, der verlangt, dass Maßnahmen des Bundes auf ihre Wirksamkeit hin überprüft werden müssen (Bussmann, 2017). Somit erhielt evaluatives Handeln quasi Verfassungsrang.

➞ Lösung auf Seite 230

VERTIEFUNGSLITERATUR

❙ Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis, 24 (2), 105–131.

❙ Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation – A Systematic Approach (7 thed.). Thousand Oaks: Sage Publications.

1Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum Verständnis ist die Kenntnis der anderen Sprache allerdings nicht erforderlich, da alle fremdsprachigen Zitate sinngemäß ins Deutsche übersetzt und die übersetzten Passagen in den erläuternden Text um das Zitat herum integriert sind.

Nachdem Evaluation als wissenschaftliche Dienstleistung definiert und abgegrenzt worden ist, soll nun geklärt werden, wie eine Evaluation systematisch geplant und durchgeführt wird, und wie entsprechende Vereinbarungen zwischen den beteiligten Parteien festzuhalten sind.

Erarbeitung eines Evaluationsplans

Wie im einleitenden Kapitel herausgearbeitet, sind die Erarbeitung eines Evaluationsplans und seine Umsetzung herausfordernde Aufgaben. Jede Evaluation findet in einem zu identifizierenden organisatorischen, kulturellen und politischen Umfeld statt. In sie werden oft gegensätzliche Interessen und Wertpositionen aufgenommen, und daraus muss ein jeweils einzigartiges Vorgehen entwickelt werden.

Es wird vielfach gefordert, Evaluationen, wie in Verfahrensanweisungen des Qualitätsmanagements beschrieben, zu standardisieren, indem fixe Musterabläufe festgelegt werden. Hiervon erhofft man sich, Kosten für die Evaluationsplanung zu senken. Darüber hinaus soll es dadurch möglich werden, dass weniger umfangreich ausgebildete Evaluierende eine Evaluation nach engen Vorgaben sicher durchführen können. Auf dem Markt sind einige solcher Evaluationssysteme z.B. für Schulen, die Hochschulbildung oder die betriebliche Weiterbildung erhältlich. Allerdings widerspricht diese Idee einer «Evaluation von der Stange», so attraktiv sie aus Kostenüberlegungen auch sein mag, der Grundannahme, dass Evaluationen Einzelanfertigungen sein müssen – eventuell unter Nutzung einiger vorgefertigter Einzelteile –, um nützliche Ergebnisse für die jeweiligen Adressatengruppen in jeweils einzigartigen Praxissettings zu erzeugen (vgl. Stake, 2004).

Schrittfolgen zur Evaluationsdurchführung als Anhaltspunkt

Um zur Planung maßgeschneiderter Evaluationen systematisch anzuleiten, haben sich in der Praxis sechs- bis zwölfstufige Schrittfolgen bewährt. Das nachfolgend vorgeschlagene Schema greift Erfahrungen auf, wie sie z.B. in Beywl (2007) und Balzer (2005) beschrieben sind. Damit werden Anhaltspunkte für konkrete Planungsarbeiten gegeben. Das Schema darf allerdings nicht als rigides, immer exakt in dieser Abfolge anzuwendendes Strickmuster missverstanden werden. Vielmehr ist es in der konkreten Ausgestaltung den spezifischen Rahmenbedingungen des konkreten Evaluationsprojektes anzupassen. Dabei ist es möglich, einzelne Schritte parallel mit anderen zu planen und durchzuführen, oder während der Bearbeitung einen früheren Schritt nochmals aufzugreifen und an diesem Anpassungen vorzunehmen.

Keine Bevorzugung bestimmter Evaluationsmodelle und Methoden

Die in diesem Buch dargestellte Vorgehensweise favorisiert kein bestimmtes Evaluationsmodell, keine bestimmte Methodik (z.B. qualitativ oder quantitativ) und keine bestimmten Evaluationsgegenstände. Es wird davon ausgegangen, dass Evaluationen je nach spezifischem Gegenstand und Kontext auf unterschiedliche Kombinationen erkenntnistheoretischer und methodologischer Zugänge zurückgreifen müssen. Der Gegenstand und sein Kontext, der Zweck der Evaluation und die Evaluationsfragestellungen entscheiden darüber, wie die skizzierte Schrittfolge konkret angewendet wird, und welchen relativen Stellenwert der jeweilige Schritt hat. Die effektive Vorgehensweise darf nicht vorab aufgrund der Verpflichtung auf bestimmte – aus welchen Gründen auch immer – bevorzugte Evaluations- und Forschungsparadigmen festgelegt werden. Evaluationsplanung verlangt eine aktive, adaptive und dialogische Auseinandersetzung der Evaluierenden mit dem jeweiligen Evaluationsgegenstand in seinem sozialen, ökonomischen und organisatorischen Kontext.

BEISPIEL 1