Lars Balzer - evaluiert (E-Book)

Lars Balzer, Wolfgang Beywl

evaluiert

erweitertes Planungsbuch für Evaluationen im Bildungsbereich

ISBN Print: 978-3-0355-0872-7

ISBN E-Book: 978-3-0355-0873-4

Gestaltung und Satz: tiff.any GmbH, Berlin, www.tiff.any.de

Umschlagfoto: Peter Bachmann, Bern, www.pbfotografie.ch

2. Auflage 2018

Alle Rechte vorbehalten

© 2018 hep verlag ag, Bern

www.hep-verlag.com

Vorwort

1 Einstieg ins Thema

2 Was ist Evaluation?

2.1 Wissenschaftliche Evaluation statt Alltagsbewertung

2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-) Forschung

2.3 Evaluation als Qualitätsmanagement bzw. Controlling?

2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung

3 Evaluationsprozess und Auftrag

4 Bestimmung des Evaluationsgegenstandes

5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

5.1 Geld- und Auftraggebende der Evaluation

5.2 Finanzierende und Träger des Bildungsangebots

5.3 Programmleitende und -mitarbeitende

5.4 Teilnehmende

5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen

5.6 Sonstige Akteure

5.7 Evaluierende

5.8 Akteure im Zusammenspiel

6 Bestimmung der Evaluationszwecke und -fragestellungen

6.1 Evaluationszwecke

6.1.1 Evaluationszwecke nach Funktionen

6.1.2 Evaluationszwecke nach Verwendungsabsichten

6.1.3 Zusammenspiel von Zwecken nach Funktion, nach Verwendungsabsicht sowie Rolle der Evaluation

6.1.4 Verdeckte Zwecksetzungen

6.2 Evaluationsfragestellungen

6.2.1 Festlegen der Evaluationsfragestellungen

6.2.2 Formulierung von Evaluationsfragestellungen

6.2.3 Arten von Evaluationsfragestellungen

7 Festlegung der Bewertungskriterien

8 Auswahl von Erhebungsdesign und -methoden

8.1 Erhebungsdesigns

8.2 Datenerhebungsmethoden

8.3 Erhebungsdesign und Datenerhebungsmethoden im Zusammenspiel

9 Durchführung der Erhebungen

10 Datenauswertung, Interpretation und Bewertungssynthese

11 Berichterstattung

11.1 Adressierte

11.2 Zeitpunkte

11.3 Verantwortung und Zuständigkeiten

11.4 Auswahl geeigneter Berichterstattungsformate

11.4.1 Schriftliche Berichte

11.4.2 Mündliche Berichterstattungsformate

12 Nutzung der Ergebnisse

13 Evaluation der Evaluation

14 Fragebogen erstellen

14.1 Inhalt von Fragebogen und Verbindung zum Evaluationszweck

14.2 Aufbau und Gestaltung von Fragebogen

14.3 Zwei Grundformen der Frage

14.4 Herausforderungen bei Antwortvorgaben

14.5 Hinweise zur Frageformulierung

14.6 Checkliste für den Vorabtest

15 Text-Sortier-Technik (TST)

16 Fallbeispiele

16.1 Evaluation «Jugendprojekt LIFT»

16.1.1 Bestimmung des Evaluationsgegenstandes

16.1.2 Bestimmung der Interessierten Akteure und die Rolle der Evaluierenden

16.1.3 Bestimmung der Evaluationszwecke und -fragestellungen

16.1.4 Festlegung der Bewertungskriterien

16.1.5 Auswahl von Erhebungsdesign und -methoden

16.1.6 Durchführung der Erhebungen

16.1.7 Datenauswertung, Interpretation und Bewertungssynthese

16.1.8 Berichterstattung

16.1.9 Nutzung der Ergebnisse

16.1.10 Evaluation der Evaluation

16.2 Evaluation der Campusbibliothek Brugg-Windisch

16.2.1 Bestimmung des Evaluationsgegenstandes

16.2.2 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

16.2.3 Bestimmung der Evaluationszwecke und -fragestellungen

16.2.4 Festlegung der Bewertungskriterien

16.2.5 Auswahl von Erhebungsdesign und -methoden

16.2.6 Durchführung der Erhebungen

16.2.7 Datenauswertung, Interpretation und Bewertungssynthese

16.2.8 Berichterstattung

16.2.9 Nutzung der Ergebnisse

16.2.10 Evaluation der Evaluation

Literaturverzeichnis

Verzeichnis der Abbildungen

Verzeichnis der Tabellen

Verzeichnis der Übungsaufgaben

Onlineressourcen für die Evaluation

Musterlösungen zu den Übungsaufgaben

Glossar

Evaluation hat in den letzten 25 Jahren auch im deutschsprachigen Raum eine steile Karriere gemacht. Ihre Wurzeln und großen Potenziale liegen insbesondere auch im Bildungsbereich. Evaluation kann helfen, Angebote vom Eltern-Kind-Turnen über den Computerkurs bis hin zur Facharzt-Weiterbildung und viele Hunderte mehr systematisch zu beschreiben und zu bewerten, meist mit dem Zweck, diese zu verbessern.

Diejenigen, die Bildungsprogramme finanzieren oder verantwortlich leiten, geben eine Evaluation in Auftrag, sei es an interne Mitarbeitende oder an Externe. Diese Evaluierenden müssen über einschlägiges Evaluationswissen und -können verfügen: wie sie zu relevanten und beantwortbaren Evaluationsfragestellungen kommen; wie sie Evaluationspläne an diese Fragestellungen anpassen; wie sie Evaluationskriterien festlegen; welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben; welche methodischen Herausforderungen sie meistern müssen; wie sie gewonnene Daten verarbeiten; wie sie die Nutzung der erzielten Ergebnisse fördern können und vieles Weitere mehr.

Dieses Buch ist ein praxisnaher Leitfaden für die Planung, Durchführung und Bewertung einer Evaluation und bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der dafür erforderlichen Kompetenzen.

Wenn Sie sich mit Unterstützung dieses Buches erarbeiten, wie Sie nützliche und glaubwürdige Evaluationen planen und durchführen, dann nutzen Sie Erfahrungen aus vielen erfolgreichen und oft herausfordernden Lerngeschichten. Personen, die mit verschiedenen Vorgängerversionen dieses Buches autodidaktisch oder in einer der zahlreichen Aus- und Weiterbildungsveranstaltungen gearbeitet haben, hatten es mit unterschiedlichen Problemstellungen und Hindernissen der Evaluation zu tun, und konnten vielfach entsprechende Lösungen für diese finden.

Der vorliegende Text hat seine Wurzeln in Veranstaltungsskripten und Studienbriefen (z.B. Beywl & Balzer, 2009, Balzer & Beywl, 2014) und natürlich in seiner ersten Auflage (Balzer & Beywl, 2015), die mit dem vorliegenden Text grundlegend überarbeitet und erweitert worden ist: Dazu gehören einerseits Ergänzungen und Präzisierungen vorhandener Kapitel. So wird die einheitliche Begriffsverwendung weiter geschärft – z.B. wird nun konsequent die Bezeichnung «Evaluationsprojekt» verwendet, wenn eine geplante oder realisierte Evaluation gemeint ist. Das Wort «Projekt» als eine Klasse von Evaluationsgegenständen wird hingegen wenn immer möglich durch Bezeichnungen wie «Programm» oder «Maßnahme» ersetzt. Ebenso ist das Designkapitel grundlegend überarbeitet, und Evaluationszwecke werden nun konsistenter als verbesserungsorientiert, rechenschaftslegungsorientiert, grundsatzentscheidungsorientiert und wissensgenerierend unterschieden. Die aktuellen Revisionen der DeGEval- und SEVAL-Evaluationsstandards sind eingearbeitet. In der deutschsprachigen Fachliteratur bislang wenig ausgeführte Themen wie die Typisierung von Evaluationsfragestellungen, das Verständnis von «Daten» in der Evaluation, die Festlegung der Evaluationskriterien, die Bewertungssynthese sowie der Einfluss durch Evaluation sind weiter vertieft. Darüber hinaus kommen Kapitel zur Fragebogenkonstruktion und zur Text-Sortier-Technik sowie zwei ausführliche Fallbeispiele hinzu. Sowohl neue wie aktualisierte Literatur ist eingearbeitet.