Lars Balzer - evaluiert (E-Book)

Merkmale externer Evaluation

Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen, oder sie werden von relevanten Informationen ferngehalten, ohne dass sie dies bemerken.

Selbst- und Fremdevaluation

Der Begriff «interne Evaluation» wurde oftmals synonym mit dem Begriff «Selbstevaluation» (Beywl, Bestvater & Friedrich, 2011; Buhren, 2018; Deutsche Gesellschaft für Evaluation, 2004; Hense, 2006), und der Begriff «externe Evaluation» synonym mit dem Begriff «Fremdevaluation» verwendet (Balzer, Frey & Nenniger, 1999, S.406). Im englischsprachigen Raum ist das zweite Begriffspaar nicht verbreitet, und es fehlt gar eine Übersetzung für «Fremdevaluation».

extern/intern und selbst/fremd

Man unterscheidet hier zwei Dimensionen (vgl. Beywl & Balzer, 2016, S.195): Während extern/intern leicht als (Nicht-)Mitgliedschaft operationalisiert werden kann, ist dies für fremd/selbst schwieriger. Diese zweite Unterscheidung kann aus einer kulturellen Perspektive erfolgen. Evaluierende handeln stärker als Insider oder aber als Outsider in Bezug auf Werte, Kultur oder Fachlichkeit des zu evaluierenden Gegenstandes. Demgemäß ist Selbstevaluation in das Werte- und Normengefüge einer Organisation oder eines Programms eingebunden. Hier können auch Professionskulturen eine wichtige Rolle spielen, z.B. von Lehrkräften oder sozialpädagogisch Tätigen, die Evaluationsgegenstände beschreiben und bewerten, für deren Qualität sie qua Funktion und Beruf privilegiert zuständig und verantwortlich sind. Hingegen stehen Fremdevaluierende als Outsider solchen professionellen oder auch weltanschaulich geprägten Qualitätsvorstellungen eher neutral gegenüber – die Bewertungskriterien anderer Stakeholder sind für sie grundsätzlich ebenso gültig ( ➞ Kapitel 7und ➞ Kapitel 10).

Um eine Selbstevaluation handelt es sich dann, wenn Evaluierende von ihnen selbst geführte Bildungsmaßnahmen beschreiben und bewerten, und zwar auf dem Hintergrund der von ihnen verantworteten fachlichen Ziele und Qualitätskriterien. In diesem Fall geben sich die Evaluierenden selbst einen Auftrag (oder sie werden von Dritten dazu aufgefordert), den von ihnen fachlich und inhaltlich verantworteten Gegenstand zu untersuchen und zu bewerten. Dies geschieht in aller Regel mit dem Zweck, ihn zu verbessern, also in formativer Absicht. Hingegen ist eine summative Evaluationsrolle in diesem Fall wenig angemessen. Es wird ja eine komplexe Dienstleistung an sich selbst erbracht (Selbsthilfe), bei der Auftragsvergabe, Programmverantwortlichkeit und Evaluationszuständigkeit in einer Hand liegen. Interessenkonflikte sind kaum zu vermeiden und beeinflussen für Dritte womöglich intransparent den Evaluationsverlauf. Die Glaubwürdigkeit einer summativ angelegten Selbstevaluation ist chronisch bedroht (zur Unterscheidung formativ-summativ ➞ Kapitel 3und ➞ Kapitel 6.1).

Inhouse-Evaluierende können sowohl eine Insider- als auch eine Outsider-Position einnehmen. Mit letzterer werfen sie einen «fremden» Blick auf die Maßnahmen eines Bildungsträgers, wenn sie z. B. nicht selbst Bildungsfachleute sind, sondern aus einem ganz anderen Berufsfeld stammen oder ihre Berufserfahrung z.B. im Gesundheitswesen oder in der Umweltevaluation gesammelt haben – dann sind sie interne Outsider.

Externe schließlich können eine Insider-Perspektive mitbringen, wenn es Fachkolleginnen und -kollegen sind mit einem gleichen Fachhintergrund wie bei den Programmverantwortlichen. Bei dieser Evaluationsart stammen die Evaluierenden aus einer anderen Institution, sind dem konkreten Evaluationsgegenstand also nicht verpflichtet, haben aber ein ähnliches Wertesystem und messen dem Typus des Evaluationsgegenstandes folglich einen grundsätzlich eher hohen Wert bei. Diesen Ansatz kann man als Peer-Evaluation bezeichnen (Gutknecht-Gmeiner, 2007a, 2007b).

Es ist keinesfalls so, dass generell intern Evaluierende besser geeignet wären als Externe, oder Insider versus Outsider. Je nach Situation bringt einmal die eine, einmal die andere Position und Perspektive mehr Vorteile für ein den Standards der Evaluation entsprechendes Vorgehen. Oft bietet sich auch eine Kombination der verschiedenen Evaluationsarten an, wenn z. B. interne Insider die Evaluation steuern und durchführen, dabei mit Unterstützung von externen Outsidern ihr Vorgehen reflektieren und sich methodischen Support sichern (Beywl, Speer & Kehr, 2004).

BEISPIEL 8

Das Direktorium eines großen Bildungsträgers mit einer hauseigenen Evaluationsstelle, die fachkompetent mit auf Bildung spezialisierten Evaluierenden besetzt ist, beschließt, eines seiner einjährigen Hauptprogramme in der beruflichen Weiterbildung zu evaluieren. Nach mehrjährigem Erfolg hinsichtlich Teilnehmendenzahlen und Rückmeldungen von Teilnehmenden und deren Betrieben kommt es in letzter Zeit vermehrt zu Abbrüchen. Sollte sich dies herumsprechen, müsste auch mit einem Rückgang der Teilnehmendenzahlen gerechnet werden. Die Evaluationsstelle wird daher beauftragt, das Programm zu evaluieren und insbesondere herauszuarbeiten, welche Faktoren für die Abbrüche entscheidend sind. Sie soll außerdem klären, wie das Programm angepasst werden kann, damit die Studierbarkeit im vorgegebenen Zeitraum bei Aufrechterhaltung der Ansprüche an die am Ende des Programms vorzuweisenden Kompetenzen gesichert ist. Die gut dreimonatige Evaluation zeigt sowohl im Umfeld (insbesondere Arbeitsmarktlage) wie im Programm selbst liegende Schwachstellen auf, für die in den kommenden zwölf Monaten durch die verantwortliche Programmleiterin Abhilfe geschaffen werden soll (u.a. Mentorensystem, bessere Vorbereitung auf Zwischenprüfungen, bei besonders schwierigen Programmteilen kleinere unterrichtsnahe Selbstevaluationen, die von den Unterrichtenden eigenständig durchgeführt werden, methodisch unterstützt von den Mitarbeitenden der Fachstelle). Nach erfolgter Umsetzung nehmen die Abbrüche zwar deutlich ab, die Teilnehmendenzahlen gehen dennoch langsam zurück. So beschließt das Direktorium, bei einem unabhängigen Evaluationsbüro – das nicht auf den Bildungsbereich spezialisiert ist – eine externe Evaluation in Auftrag zu geben, um mit einem Blick von außen eine weitere sichere Basis für die Grundsatzentscheidung über die Weiterführung des Programms, eventuell verbunden mit einer grundlegenden Curriculums-Revision, zu erhalten.

An Evaluierende werden – teils in Abhängigkeit zu ihrer Rollenzuschreibung – vielfältige Anforderungen gestellt.

So ist Evaluationsexpertise von zentraler Bedeutung. Scriven (1996, S.160) nennt als Anforderungen an Evaluierende u.a. Kenntnisse zu qualitativen und quantitativen Forschungsmethoden, zu testtheoretischen Konzepten, zu juristischen Bedingungen von Datenerhebungen, zu Mittelverwendung und persönlichem Umgang mit dem Evaluationsbudget und -personal, zu Personalevaluation (Mitarbeitendenbeurteilung), zu Ethik, Bedarfsanalysen, Kostenanalysen, Synthesemodellen, Evaluationsmodellen sowie zu evaluationsspezifischer Berichterstattung. Für ihn von geringerer Bedeutung ist in einem solchen Fall die Fachkenntnis der Evaluierenden im konkreten Handlungsfeld.