Lars Balzer - evaluiert (E-Book)

❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe) . Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).

❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016 . Mainz: DeGEval.

❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.

Akteure des Evaluationsgegenstandes, Akteure in Bezug auf die Evaluation

Wenn der Evaluationsgegenstand und dessen Ziele skizziert sind, werden im nächsten Schritt die Akteure bestimmt, die Interessen in Bezug auf den Evaluationsgegenstand und/oder an der Evaluation selbst haben. Zu unterscheiden sind also zwei Ebenen, auf die Personen, Personengruppen oder Organisationen ihre Interessen richten (Fitzpatrick, Sanders & Worthen, 2012, S.260): Auf der einen befindet sich der Evaluationsgegenstand (z.B. ein Bildungsprogramm), auf der anderen, der Beobachtungsebene, die Evaluation. Es gibt Akteure, die ausschließlich am Evaluationsgegenstand oder an der Evaluation interessiert sind. Oft hat aber ein und dieselbe Person auf beiden Ebenen Interessen, nimmt also auf beiden eine Rolle ein (vgl. die Beispiele in der folgenden ➞ Tabelle 2). Diesen Akteuren fällt es bisweilen schwer, zwischen den beiden Rollen und den daraus resultierenden Interessen zu unterscheiden, was z.B. für die Klärung der Evaluationszwecke und -fragestellungen ( ➞ Kapitel 6) erforderlich ist. Wichtig ist, dass die Evaluierenden beide Rollen kennen und differenziert behandeln.

Stakeholder haben Interessen in Bezug auf den Evaluationsgegenstand

a) Akteure, die Interessen in Bezug auf den Evaluationsgegenstand haben, werden «Stakeholder» (vom englischen «holding stakes», Einsätze halten, z.B. bei einem Wettspiel, bei dem etwas zu gewinnen oder zu verlieren ist) genannt. Im Deutschen nennt man diese auch «Beteiligte und Betroffene». «Beteiligte» sind Personen, Gruppen oder auch Organisationen, die in Bezug auf den Evaluationsgegenstand aktiv und/oder einflussreich sind, also z.B. Finanzierende des Programms wie auch Akteure, die das Programm steuern (Programmverantwortliche) oder die im Rahmen des Evaluationsgegenstandes gegen Entgelt oder ehrenamtlich tätig sind (Mitarbeitende). «Betroffene» sind insbesondere Personen mit wenig Einfluss. Sie finden sich oft unter den Zielgruppen eines Programms, oder es sind von der Inanspruchnahme eines Programms Ausgeschlossene oder durch das Programm Benachteiligte, mitunter ohne von der Existenz des Programms zu wissen. So kann es z.B. sein, dass durch eine Fördermaßnahme für eine bestimmte Gruppe eher bildungsferner Personen durch die Förderrichtlinien Ausgeschlossene benachteiligt werden. Im Rahmen partizipativer Evaluationsansätze kann angestrebt sein, Betroffene zu Beteiligten zu machen. Die Trennlinie zwischen Beteiligten und Betroffenen ist oft nicht scharf zu ziehen (König, 2003, S.84).

Potenziell Nutzende haben Informationsinteressen in Bezug auf die Evaluation

b) Akteure, die Informationsinteressen in Bezug auf die Evaluation hegen, sind «potenziell Nutzende» der Evaluation und ihrer Ergebnisse. Diejenigen, die die Evaluierenden gemäß Evaluationsplan mit Informationen bedienen wollen, sind «Adressierte» oder «vorgesehene Nutzende» (intended users; Patton, 2008). Adressierte, die Ergebnisse später nutzen, sind dann tatsächlich Nutzende. Zudem gibt es Personen, die die Ergebnisse einer Evaluation nutzen (wollen), aber nicht zum eigentlich anvisierten Adressatenkreis gehören.

Diese Personenkreise überschneiden sich oft: Mitarbeitende von Organisationen, in denen evaluiert wird, sind in der Regel beteiligt und betroffen, können gleichzeitig Adressierte der Evaluation sein und diese dann auch tatsächlich nutzen. Ein Gegenbeispiel ist eine Stiftung, die Evaluationen fördert und eine Adressatin des Schlussberichtes ist, die jedoch keine eigenen Interessen am Evaluationsgegenstand hat. Ähnlich verhält es sich, wenn die allgemeine oder die wissenschaftliche Öffentlichkeit Adressatin ist.

Wichtigkeit der Rollenklärung

Bei den Rollenzuweisungen handelt es sich um analytische Trennungen. Sie signalisieren, ob Personen/Personenmehrheiten/Organisationen in Bezug auf den Evaluationsgegenstand und/oder in Bezug auf die Evaluation und ihre Ergebnisse involviert oder zu involvieren sind. Dadurch sollen die Evaluationsverantwortlichen angeregt werden zu klären, wer in welcher Rolle durch die verschiedenen Aktivitäten im Rahmen der Evaluation zu berücksichtigen ist.

Aus dem Gesagten ergibt sich ein Dreiecksverhältnis zwischen Stakeholdern des Evaluationsgegenstandes, vorgesehenen Nutzenden der Evaluationsergebnisse (Adressierten) und schließlich den Evaluierenden. Letztgenannte müssen die Interessen der Programmstakeholder klären, Informationsinteressen an der Evaluation herausarbeiten und Interessen- und Wertspannungen transparent machen. Schließlich müssen sie ihre eigene Position in diesem Interessenspiel klar benennen.

Rollen im Überblick

In ➞ Tabelle 2wird dies für Rollen in der Bildungsevaluation nochmals dargelegt:

Tabelle 2: Typische Rollen in der Bildungsevaluation

➞ Tabelle 2kann auch als Checkliste dienen, um in die Evaluation einzubeziehende oder zu berücksichtigende Akteure zu identifizieren.

Bei kleinen Trägern/Programmen können die Rollen (1) bis (6) von einer Person wahrgenommen werden. Anders bei einem bundesfinanzierten Programm (3): Umgesetzt und getragen von einem Trägerverbund (4) und geleitet durch eine Programmleiterin (5) kann die Evaluation durch einen vom Bund beauftragten Projektträger ausgeschrieben werden (2), wobei das Geld für die Evaluation vom Bundesministerium kommt (1). In manchen Fällen finanzieren Stiftungen oder Forschungsfonds Evaluationen (1), ohne dass sie eigene Interessen in Bezug auf das evaluierte Programm haben.

Bei überwiegend bis vollständig teilnehmenden-finanzierten Bildungsmaßnahmen sind (3) und (7) identisch. Wenn die Eltern finanzieren, trifft dies bei (3) und (8), wenn die Arbeitgebenden finanzieren, bei (3) und (9) zu.

Stakeholder und Adressierte

Es besteht in der Literatur keine Einigkeit über den Begriff der Stakeholder. An manchen Orten werden darunter nicht nur diejenigen gezählt (wie in diesem Text), die Interessen am Evaluationsgegenstand haben, sondern auch diejenigen, die – eventuell sogar ausschließlich – an der Evaluation und ihren Ergebnissen interessiert sind. Beides sind unterschiedliche, sich eventuell auch überlappende Interessensphären, wie aus ➞ Tabelle 2ersichtlich ist.