Lars Balzer - evaluiert (E-Book)

Es soll ein standardisierter eintägiger Computerkurs zum Thema «Betriebssystem» evaluiert werden. Dieser wird zum einen für Nutzende verschiedener Programmversionen aus Steuerberatungsbüros aus der Innenstadt Frankfurts und zum anderen für Leiterinnen und Leiter von Mikrofinanzagenturen im Süden Sri Lankas angeboten. In beiden Fällen soll untersucht werden, in welchem Maße die Teilnehmenden das im Lernfeld erworbene Wissen im Transferfeld tatsächlich einsetzen, welche Transferhindernisse es gibt und wie diese durch ein optimiertes Transfermanagement im Kurs vermindert werden können.

Anmerkung: In diesem Beispiel liegt ausnahmsweise ein stark standardisierter/standardisierbarer Evaluationsgegenstand vor. In vielen Bildungssettings sind die Evaluationsgegenstände einmalig, erstmalig (Pilotvorhaben oder Modelle), oder es handelt sich um Anpassungen mit starken lokalen Besonderheiten – in all diesen Fällen sind maßgeschneiderte Evaluationen umso mehr erforderlich.

➞ Lösung auf Seite 231

Schrittfolgen sind kein Rezeptbuch

Mit dem nachfolgenden Schema wird ein großer Bogen über die Hauptschritte eines Evaluationsprozesses gespannt, die je nach Kontext und Situation unterschiedliche Bedeutungen und Prioritäten haben. Die Auseinandersetzung mit den einzelnen Schritten wird dabei helfen, begründete Entscheidungen darüber zu treffen, welcher Schritt im spezifischen Fall mit welchem Gewicht zu bearbeiten ist.

Evaluationsprozess

Einen Überblick über den Evaluationsprozess gibt ➞ Abbildung 1. Die detaillierte Darstellung erfolgt in den nachfolgenden Kapiteln.

Abbildung 1: Der Evaluationsprozess

Evaluationsauftrag

Um den Evaluationsprozess ist zumeist ein formaler Rahmen gespannt: der Evaluationsauftrag, ohne den es zu keiner Evaluation kommt. Wenn die Evaluation an einen externen Dienstleister vergeben wird («externe Evaluation», ➞ Kapitel 5.7), kommt es zumeist zu einem schriftlich fixierten Vertrag zwischen Auftraggebenden und Auftragnehmenden. Dies ist z.B. der Fall, wenn die Qualitätsbeauftragte einer Weiterbildungseinrichtung ein Evaluationsbüro mit einer Evaluation zu einem Zertifikatskurs beauftragt. Auch interne Evaluationen werden in Auftrag gegeben; allerdings geschieht dies (leider) oft informell. Dabei kann ein Auftrag viel sicherer durchgeführt werden, wenn beide Seiten einen Konsens über dessen Details erzielt haben und dies auch schriftlich fixieren. Ein Sonderfall ist die Selbstevaluation ( ➞ Kapitel 5.6), in der eine programmzuständige Person sich selbst den Auftrag gibt, die eigene Maßnahme zu evaluieren.

Evaluationsvertrag mit Blick auf alle nachfolgenden Evaluationsschritte formulieren

Die besondere Herausforderung besteht darin, dass die in den folgenden Kapiteln zu behandelnden Schritte des Evaluationsprozesses in den Evaluationsplan aufgenommen und die vereinbarten Details im Auftragstext festgehalten werden. Ein Vertragsabschluss setzt voraus, dass Einigkeit über zentrale Elemente der Evaluation erzielt worden ist. Was schlussendlich Bestandteil des Vertrages wird und was nicht, muss von Evaluation zu Evaluation neu entschieden werden.

Wie kommt ein Evaluationsauftrag zustande?

Unterschiedliche Abläufe sind möglich, damit ein Evaluationsauftrag zustande kommt (vgl. DeGEval – Gesellschaft für Evaluation e.V., 2007). Die Initiative geht normalerweise von den Auftraggebenden aus. In einer Ausschreibung wird die gewünschte Evaluation beschrieben; sie wird öffentlich bekannt gemacht oder potenziellen Auftragnehmenden (z.B. einem Evaluationsbüro) direkt zugestellt. Die Ausschreibung kann dabei mehr oder weniger ausführlich sein. Im «kurzen» Fall wird das geplante Evaluationsprojekt nur knapp umrissen. Im «ausführlichen» Fall wird der Auftrag durch die sogenannten Terms of Reference (ToR) (Independent Evaluation Group/World Bank, 2011) bzw. das Pflichtenheft (z.B. Widmer, 2005, S.7–9) detailliert beschrieben: der Evaluationsgegenstand und sein Kontext, der Anlass für die Evaluation, der Evaluationszweck, die Evaluationsfragestellungen, die vorgesehenen Nutzenden (Adressierten) wie auch die geplante Nutzung der Evaluationsergebnisse, manchmal sogar die Evaluationskriterien, zugängliche Dokumente, bereits vorhandene Informationen und Daten, relevante Termine, das vorgesehene Budget, die verlangten Evaluationskompetenzen, einige methodische Richtlinien, die Gliederung des erwarteten Angebots sowie Hinweise zur Beurteilung der eingehenden Angebote. Potenzielle Evaluierende bewerben sich, stellen eventuell Rückfragen und unterbreiten ein Angebot. Aus den eingegangenen Angeboten wählen die Auftraggebenden (gegebenenfalls unter Rücksprache mit übergeordneten Stellen) aus. Alternativ kommen Aufträge ohne Ausschreibung zustande, z.B. beim «Einholen eines einzigen Angebots bei einem besonders vertrauten oder als besonders kompetent geltenden Experten» (Wottawa & Thierau, 2003, S.113).

Je nach Erfahrungen der Auftraggebenden mit Evaluation und mit dem zur Verfügung stehenden Budget variieren Umfang und Detailliertheitsgrad einer Ausschreibung.

Selten geht die Initiative zu einer Evaluation von den Auftragnehmenden aus, wie z.B. bei der Durchführung des Vorhabens im Rahmen einer Qualifizierungsarbeit (z. B. Diplomarbeit, Masterarbeit, Dissertation).

Ausrichtung des Evaluationsauftrages: formative oder summative Evaluation

Unabhängig vom Zustandekommen des Evaluationsauftrages führt dessen Ausrichtung zu einer frühen Weichenstellung des gesamten Evaluationsvorhabens:

SCHLÜSSELAUSSAGE

Bereits in der Ausschreibung bzw. im Rahmen erster Vorgespräche ist entweder explizit geklärt – oder es ist implizit enthalten – ob die durchzuführende Evaluation eher eine formative oder eine summative Evaluationsrolle einnehmen soll oder eine Mischform von beiden. Diese entscheidende Weichenstellung ist prägend für die spätere Evaluationsdurchführung.

Die formative Evaluation soll zur optimalen «Ausformung» des Evaluationsgegenstandes, also z.B. einer noch im Erprobungsstadium befindlichen Bildungsmaßnahme, beitragen. Sie führt oft zu einer Veränderung oder einer Stabilisierung eines Programms. Hingegen will die summative Evaluation einen «Summenstrich», eine Bilanz zum Evaluationsgegenstand ziehen, damit sich die Beteiligten und Betroffenen ein zusammenfassendes Bild von seinem Wert machen können bzw. damit sie eine Basis für zu treffende Grundsatzentscheidungen haben, also z.B. Fortführung oder Einstellung, Ausweitung oder Verkleinerung eines Bildungsprogramms.

Je nach Reifegrad eines Programms können Evaluationen unterschiedliche Funktionen erfüllen, z.B. eine klärende oder interaktive Funktion (eine Domäne der formativen Evaluation), oder sie sollen die Umsetzung einer schon im Regelbetrieb befindlichen Maßnahme dokumentieren oder ihre Wirkung feststellen (eine Domäne der summativen Evaluation). Verbesserung oder Stabilisierung sind typische Zwecke einer formativen Evaluation; in summativen Evaluationen geht es meist um Rechenschaftslegung oder Grundsatzentscheidungsfindung (ausführlich in ➞ Kapitel 6.1).