Lars Balzer - evaluiert (E-Book)

Bezüglich des Konzeptes von Bildungsmaßnahmen haben Evaluierende die Aufgabe, es auf Stringenz und Kohärenz der Ziele und vorgesehenen Aktivitäten zu untersuchen («Konzeptevaluation»). Kernbestandteil eines Konzeptes ist ein expliziertes und systematisch gegliedertes Zielsystem. Evaluationsfragestellungen können ebenso wie Bewertungskriterien darauf bezogen werden. Damit ist nicht gesagt, dass sich Evaluation immer und ausschließlich auf diese Ziele beziehen soll. Auch wenn die Ziele in hohem Maße erreicht werden, kann es sein, dass die unvorhergesehenen, nachträglich als negativ eingeordneten Nebenresultate des Programms in einer Gesamtbewertung so stark zu Buche schlagen, dass das Bildungsprogramm insgesamt negativ zu bewerten ist. Um Nebenresultate zu entdecken, muss man ein besonderes Augenmerk auf diese richten. In der «goal-free evaluation» (Scriven, 1991a), der zielfreien Evaluation, wird dies explizit versucht, indem alle Auswirkungen eines Evaluationsgegenstandes erfasst werden, ohne dessen Ziele zur Kenntnis zu nehmen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative, nicht beabsichtigte Resultate zu übersehen. Außerdem kann es angemessen sein, bei der Bewertung auch die Relation zu den Kosten zu berücksichtigen. Eventuell gibt es zur Erreichung der Ziele preisgünstigere, qualitativ aber vergleichbare Alternativen.

Zielklärung

Patton (2012, S.204) behandelt das Thema «Ziele» ausführlich. Er weist darauf hin, dass Programmziele für die Evaluation zentral wären, viele Programme aber über keine befriedigend formulierten Ziele verfügten. Evaluierende geraten deswegen in die herausfordernde Situation, mit den Programmverantwortlichen oft erst noch Ziele klären zu müssen, um mit systematischem Evaluieren überhaupt beginnen zu können. Damit dies nicht zu einem unbefriedigenden, da nicht zu Ergebnissen führenden «Zielklärungsspiel» (goal clarification game) führt, müssen Evaluierende über das Handwerkszeug der Zielklärung verfügen. Patton (2012, S.215ff.) konkretisiert dies mit den folgenden zehn Prinzipien für bedeutsame und nützliche Ziele:

1) Identifiziere solche Outcomes, die für diejenigen relevant sind, die die Arbeit im Programm tun.

2) Unterscheide klar zwischen Outcomes und Aktivitäten.

3) Spezifizieren ist ausschlaggebend. Spezifische Outcomes haben mehr Orientierungskraft.

4) Jedes Ziel sollte nur einen einzigen Outcome beinhalten.

5) Outcome-Formulierungen sollen leicht verständlich sein.

6) Schriftlich fixierte Ziele sollen sich auf die wichtigsten Programm-Outcomes beschränken.

7) Halte gewünschte Outcomes getrennt von den Wegen, auf denen sie erreicht werden sollen.

8) Unterscheide klar Ziele von Indikatoren sowie von Kriterien und Kriterienpunkten bzw. Schwellenwerten, ab denen ein befriedigendes Resultat erreicht ist. ( ➞ Kapitel 7)

9) Kopiere nicht einfach die Ziele von anderen, sondern rege die Beteiligten und Betroffenen an, eigene Ziele in eigener Sprache zu formulieren.

10) Halte die Aufmerksamkeit auf die zu erreichenden Resultate während des gesamten Programmverlaufes hoch.

Ein Programmkonzept kann an verschiedenen Zielarten ausgerichtet werden. Bei der Zielfindung und -klärung geht es oft zentral um die Frage, was die erwünschten Zustände sind, die bei Teilnehmenden durch bestimmte Interventionen oder Aktivitäten ausgelöst werden sollen.

Je nachdem, ob Ziele eines größeren Programms (z.B. eines Studiengangs) oder einer kurzen, einige Stunden umfassenden Maßnahme ausgewiesen werden sollen, müssen unterschiedlich viele Ziele formuliert sein. Die Gesamtzahl der Ziele muss – um Evaluierbarkeit zu erreichen – in einem überschaubaren Rahmen bleiben; eventuell müssen Prioritäten gesetzt werden. Sowohl für große als auch für fokussierte Evaluationsgegenstände kann das nachfolgend dargestellte dreigegliederte Zielsystem (Beywl, Bestvater & Friedrich, 2011, S.42–48; Beywl & Schepp-Winter, 2000) hilfreich sein, um Ziele systematisch zu klären. Es hat sich in der Zusammenarbeit zwischen Evaluierenden und Programmverantwortlichen bewährt und kann als Werkzeugkasten für die Zielklärung genutzt werden. Diese Gliederung ist eine Art Arbeitshilfe, um sowohl «visionäre Leitziele» (Zech, 2008, S.24) als auch messbare Detailziele formulieren zu können. Für eine Anwendung des dreigegliederten Zielsystems auf ein Bildungsnetzwerk mit einer ausführlichen Darstellung des Vorgehens sei auf Schmidt (2016) verwiesen.

Abbildung 2: Steuerungsfunktion des Zielsystems (in Anlehnung an Beywl & Schepp-Winter, 2000)

Leitziel

Ein Leitziel gibt die Grundausrichtung einer Organisation, eines Programms oder einer Bildungsmaßnahme an und ist längerfristig gültig. Es drückt zugrunde liegende Werte und Normen aus und gibt den Bereich an, auf den sich die Aktivitäten des Programms ausrichten sollen. Leitziele können Teil eines Leitbildes, der Philosophie einer Organisation oder von Grundkonzeptionen sein. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charakters nur schwer bis gar nicht operationalisierbar, dienen aber als Ausgangspunkt für die Festlegung überprüfbarer Detailziele.

Mittlerziel

Ein Mittlerziel verbindet die Ebenen der Leitziele und der Detailziele. Das Mittlerziel konkretisiert das Leitziel, indem es bestimmte Teilbereiche näher beschreibt. Im Gegensatz zum Leitziel enthält es bereits operationalisierte Elemente.

Detailziel

Ein Detailziel beschreibt präzise den Zielzustand, der durch bestimmte Interventionen erreicht werden soll. Es ist konkret, überprüfbar, zeitlich festgelegt und realistisch. Ein Detailziel ist operationalisiert und empirisch überprüfbar. Bei Bildungsmaßnahmen sind dies oft Lernziele im Sinne von Outcomes.

BEISPIEL 3

Nachfolgend findet sich ein Ausschnitt aus einem Zielsystem, das für ein Weiterbildungsangebot zum Thema «Evaluation» an einer Hochschule gelten könnte.

Leitziel der Weiterbildungseinrichtung einer Hochschule:

«Wir fördern die berufliche und persönliche Entwicklung der Teilnehmenden unserer Studiengänge, Kurse, Veranstaltungen und Alumninetzwerke.»

Mittlerziel für eine wissenschaftliche Weiterbildung in Evaluation:

«Die Teilnehmenden erwerben ein grundlegendes Verständnis für den Zusammenhang zwischen Evaluationszweck, Evaluationsfragestellungen, Evaluationsmodellen und empirischen Methoden.»

Detailziel für eine Teilsequenz dieses Weiterbildungsangebots:

«Die Teilnehmenden können die Begriffe ‹Evaluationszweck› und ‹Programmziel› in eigenen Worten erläutern und begründen, weshalb es für eine klare Evaluationsplanung relevant ist, beide Begriffe und Sachverhalte stets auseinanderzuhalten.»

Je nach Dauer und Größe eines Programms (z.B. gemessen in Finanzumsatz oder lokaler Verortung) fallen die Formulierungen auf den drei Ebenen unterschiedlich konkret aus: Leitziele können noch allgemeiner, Detailziele noch spezifischer formuliert werden. Die dargestellten zehn Prinzipien von Patton gelten für Detailziele im Konkretisierungsgrad des Beispiels. Werden diese noch spezifischer und handlungsleitend für konkrete Aktivitäten auf der Mikroebene, können sie auch mit Indikatoren operationalisiert sein und Kriterienpunkte bzw. Schwellenwerte enthalten (Abweichung von Prinzip 8).

Perspektivenwechsel bei der Zielbestimmung