Lars Balzer - evaluiert (E-Book)

Auftraggebende wünschen sich oft gleichzeitig eine formative und eine summative Evaluationsrolle. Werden diese gleichrangig und zeitgleich eingenommen, können die Durchführbarkeit und Genauigkeit (zu diesen beiden von insgesamt vier Bewertungsdimensionen ausführlicher in ➞ Kapitel 13) einer Evaluation gefährdet werden, da z.B. Mitarbeitende angesichts anstehender Grundsatzentscheidungen taktisch antworten und es damit erschwert wird, die verbesserungsbedürftigen Schwächen eines Programms zu entdecken. Es empfiehlt sich daher, entweder klare Prioritäten zu setzen oder aber eine Phaseneinteilung vorzuschlagen, indem zunächst die formative und dann die summative Evaluationsrolle eingenommen wird.

Finanzierung

Die notwendigen Mittel stammen zumeist von der ausschreibenden Institution; manchmal stehen den Evaluierenden eigene Haushaltsmittel zur Verfügung. Auch eine komplette Fremdfinanzierung über Stiftungs- oder sonstige Fördermittel ist möglich. In besonderen Fällen (z.B. bei Qualifizierungsarbeiten) steht kein Budget zur Verfügung, und der Aufwand muss entsprechend klein gehalten werden.

Abschließende Auftragsklärung und schriftliche Fixierung

Sind die Evaluierenden ausgewählt, kommt es zur mündlichen Auftragsklärung mit den Auftraggebenden. Es werden Details des in den folgenden Kapiteln geschilderten Evaluationsprozesses besprochen und möglichst schriftlich fixiert. Dies wird zugleich Bestandteil des rechtsverbindlichen oder im Innenverhältnis gültigen Vertrages.

Die Aushandlung eines Vertrages ist sorgfältig vorzunehmen. Hier treffen erstmals die Vorstellungen der Auftraggebenden (die sich auch innerhalb dieser Gruppe unterscheiden können) auf diejenigen der Auftragnehmenden über das zukünftige Evaluationsprojekt.

Verantwortlichkeiten

Es ist wichtig festzuhalten, dass nach Auftragsvergabe die Verantwortung und Entscheidungskompetenz für die Durchführung der Evaluation bei den Auftragnehmenden liegen. Dies ist von entscheidender Bedeutung dafür, dass Letztere aus einer unabhängigen Position handeln können und der Evaluation und ihren Ergebnissen hohe Glaubwürdigkeit zugemessen werden kann.

In Bezug auf die verschiedenen Evaluationsschritte gibt es solche, bei denen die Evaluierenden aufgrund ihrer fachlichen Kompetenz Vorrang und letztinstanzliche Entscheidungsbefugnis haben sollen. Dies gilt insbesondere für die Schritte «Auswahl von Erhebungsdesign und -methoden» ( ➞ Kapitel 8), «Durchführung der Erhebungen» ( ➞ Kapitel 9), «Datenauswertung, Interpretation und Bewertungssynthese» ( ➞ Kapitel 10) sowie «Berichterstattung» ( ➞ Kapitel 11), wobei hinsichtlich der Ergebnisvermittlung die Auftraggebenden wiederum stärker einzubeziehen sind.

Hingegen sind die Interessen und Bedarfe der Auftraggebenden, aber auch weiterer Akteure bei den anderen Schritten vorrangig zu berücksichtigen; die Evaluierenden treten hierbei in eine Moderations- oder Beratungsrolle zurück.

Ein guter Evaluationsauftrag braucht Zeit

Je mehr bereits im Vertrag an Vorarbeit zu den verschiedenen Punkten geleistet worden ist, desto weniger Klärungsbedarf entsteht im Verlauf der Evaluation. Damit weiterhin genügend Flexibilität erhalten bleibt – denn schnell kann sich Grundlegendes im Evaluationsgegenstand selbst (z.B. Neukonzeption eines fehlgeschlagenen Teilkurses) oder seinem Kontext (z.B. neue Förderrichtlinien der Arbeitsagentur für Qualifizierungsmaßnahmen) ändern –, müssen Öffnungsklauseln enthalten sein: Wann können Neuverhandlungen begonnen werden und durch wen werden sie ausgelöst? Wie kurzfristig verpflichten sich die Vertragsparteien, auf dringende Anfragen zu reagieren? In jedem Fall muss für die Phase der Auftragsklärung und -fixierung genügend Zeit eingeplant werden.

Konkrete Vertragsinhalte als Fixierung des Auftrages

Konkret sind die folgenden Punkte Bestandteil eines Evaluationsvertrages, der den Evaluationsauftrag fixiert (vgl. auch die «Checkliste für den Abschluss eines Evaluationsvertrages» in Farrokhzad & Mäder, 2014, S.129):

❙ Bestimmung des Evaluationsgegenstandes ( ➞ Kapitel 4)

❙ Bestimmung der Evaluationszwecke und -fragestellungen ( ➞ Kapitel 6)

❙ Bereits verfügbare Informationen bzw. Zugang zu ihnen

❙ Auswahl von Erhebungsdesign und -methoden ( ➞ Kapitel 8)

❙ Ein Arbeitsplan/Pflichtenheft mit einer chronologischen Abfolge der einzelnen Arbeitsschritte von Auftragsbeginn bis zum Ende der Evaluation und dem damit verbundenen Arbeitsaufwand sowie den Verantwortlichkeiten, sowohl aufseiten der Auftragnehmenden als auch der Auftraggebenden, mit Meilensteinterminen

❙ Ein Finanzplan, der alle Personal-, Sach- und sonstigen Kosten aufführt. Dieser Plan setzt eine differenzierte Kalkulation voraus, die die Evaluierenden mit großer Sorgfalt durchzuführen haben, da sie als Bestandteil des Auftrages für alle Beteiligten bindend wird und die zur Verfügung stehenden Ressourcen bestimmt

❙ Absprachen über die Formen der Berichterstattung ( ➞ Kapitel 11.4)

Schriftliche Form des Evaluationsauftrages

Nach einer Einigung zwischen den Vertragsparteien sind die getroffenen Vereinbarungen formal, schriftlich und für alle Beteiligten verbindlich zu fixieren (Vedung, 2004, S.121). Ein solcher schriftlicher (in seltenen Fällen mündlicher, aber in jedem Fall rechtsverbindlicher) Vertrag ist bei der Weiterarbeit für die beteiligten Parteien bindend; Nachbesserungen bedürfen Nachverhandlungen.

VERTIEFUNGSLITERATUR

❙ Balzer, L. (2005). Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik.

❙ DeGEval – Gesellschaft für Evaluation e.V. (2007). Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung . Mainz: DeGEval.

Bestimmung von Evaluationsgegenstand und dessen Zielen

Zu Beginn des Evaluationsprozesses müssen der Evaluationsgegenstand und dessen Ziele bestimmt werden. Dieser Sachverhalt gilt unter Expertinnen und Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.176).

Zu einem Evaluationsgegenstand kann alles Mögliche werden

Am Anfang scheint es ganz einfach: Eine Bildungsmaßnahme soll evaluiert werden. Doch was bedeutet das konkret? In der Evaluationsliteratur werden viele potenzielle Evaluationsgegenstände aufgezählt: Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und eröffnen der Evaluation damit ein sehr breites Tätigkeitsfeld. Westermann (2002, S.7) nennt Maßnahmen, Interventionen, Programme, Produkte, Methoden, Systeme, Pläne, Umgebungsfaktoren und Personen. Die DeGEval-Standards zählen Programme wie z.B. Projekte, Maßnahmen und andere Interventionen, Organisationen, Produkte sowie Evaluationen selbst auf (DeGEval – Gesellschaft für Evaluation e.V., 2016, S.25). Wie weiter oben ( ➞ Kapitel 2.1) beschrieben, weitet Scriven (1981, S.4) das potenzielle Tätigkeitsfeld noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem potenziellen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt bringen es auf den Punkt: «Alles kann evaluiert werden» (1990, S.15). Und das ist, selbst wenn man den Blick «nur» auf die Bildung richtet, eine ganze Menge.