Lars Balzer - evaluiert (E-Book)

Systematische Evaluationsplanung ist erforderlich

Ein Kollege mit Wissen über sozialwissenschaftliche Forschung hat dazu einen Einfall: «Wir brauchen eine Vergleichsgruppe, die sich hinsichtlich aller für das Erreichen der Weiterbildungsziele wichtigen Bedingungen wie Motivation oder Vorwissen nicht von den Teilnehmenden unserer Kurse unterscheidet. Eine solche Gruppe können wir ganz leicht auftreiben. Wir haben doch ohnehin mehr Anmeldungen, als wir in einem Monat bedienen können. Wenn wir von den nächsten 100 Anmeldungen 50 zufällig aussuchen, die wir sofort aufnehmen, und die anderen eben ein wenig später, haben wir die Gruppe bereits gebildet. Nach den Gesetzen der Wahrscheinlichkeit haben wir nämlich eine gute Chance, durch diese fast schon zufällige Zuordnung die relevanten Eigenschaften, die wir nicht einmal kennen müssen, gleich auf beide Gruppen zu verteilen. Beide Gruppen unterscheiden sich dann in nichts außer in der Tatsache, dass die eine an der Weiterbildung teilnimmt und die andere eben nicht. Ist unsere Gruppe dann besser, können wir recht sicher sein, dass wir mit unserer Weiterbildung einen Effekt erzielen.»

Doch der nächste Einwand folgt sofort: «Moment! Ich glaube nicht, dass wir lange genug warten können mit unserer Vergleichsgruppe, um längerfristige Resultate überprüfen zu können. Die wollen doch bald loslegen, und wer weiß, was sie in der Wartezeit unternehmen, um schnell ihre gewünschten Internetseiten erstellen zu können.»

«Eigentlich ist mir das zu kompliziert. Das Überprüfen des Erfolges unserer Weiterbildung ist schon wichtig, aber eigentlich hätte ich einfach gerne ein paar Informationen für mich und meine weiteren Planungen, sodass ich von den Teilnehmenden gerne gewusst hätte, welche konkreten Verbesserungsvorschläge sie haben. Es gibt schließlich keine Weiterbildungsmaßnahme, die so gut wäre, dass man sie nicht noch verbessern könnte!»

«Ach, worauf lassen wir uns mit einer solchen Evaluation nur ein? Wie soll eine solche Evaluation jemals abgeschlossen werden?»

Es bietet sich an, einen Evaluationsauftrag an hierfür qualifizierte interne Mitarbeitende oder Externe zu vergeben, die über Wissen und Können verfügen, wie sie zu beantwortbaren Evaluationsfragestellungen kommen, wie sie Evaluationspläne an diese Fragestellungen anpassen, welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben, welche methodischen Klippen sie umschiffen müssen, wie sie gewonnene Daten verarbeiten, was mit den erzielten Ergebnissen zu geschehen hat und vieles Weitere mehr.

Dieses Buch bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der hierfür erforderlichen Kompetenzen.

Auf dem Weg zur Definition

Auf die Frage, was Evaluation genau ist, gibt es keine einfache Antwort. Die Aussage von Franklin und Thrasher (1976), wonach es so viele Evaluationsdefinitionen wie Evaluierende gibt 1(«To say that there are as many definitions as there are evaluators is not too far from accurate», S. 20), hat an Gültigkeit eingebüßt. Theoriebildung und Professionalisierung haben in der vergangenen Jahrzehnten zu einer Schärfung des Begriffs geführt. Doch wird in der Bildungspraxis weiterhin vieles unter dem Begriff subsumiert, was in der Evaluationsgemeinschaft nicht oder allenfalls als schlechte Evaluation gelten würde. Daher ist es wichtig, ein fundiertes Verständnis davon zu entwickeln, was wissenschaftliche Evaluation ausmacht. Doch auch das ist nicht einfach, denn Evaluation wird nach Glass und Ellet (1980, S.211) sehr unterschiedlich definiert und abgegrenzt – und das gilt heute noch ebenso wie damals. Viele theoretische wie auch praktische Aktivitäten werden darunter gefasst, ohne dass ein allgemeingültiges Evaluationsparadigma vorherrschen würde: «Evaluation is a set of theoretical and practical activities without a widely accepted paradigm.» Und je nach Zuordnung zu einer bestimmten wissenschaftlichen Disziplin wird der Begriff zudem unterschiedlich akzentuiert (Götz, 1998, S.20). Erschwerend kommt hinzu, dass «allzu leicht […] heute auch triviale Formen der Rückmeldung zu Evaluationen» werden (Böttcher, Kerlen, Maats, Schwab & Sheikh, 2014, S.7).

Diese beinahe beliebige Möglichkeit der Inanspruchnahme macht Evaluation für viele attraktiv, bietet aber auch schier unüberschaubare Ansatzpunkte für Kritik und Polemik. Unterschiedliche Ausdrücke und Aussagen werden in diesem Zusammenhang verwendet und diskutiert, wie «Evaluation als modernes Ritual» (Schwarz, 2006), Evaluation als notwendiges Übel (evaluation as a «necessary evil», Sullivan, 2011), «Evaluations Mania» (Frey, 2007a), oder auch «von der Inquisition zur Evaluation» (Hornbostel, 2008). Schon 2000 beschreibt Simon die «Evaluitis» als «eine fiebrige Erkrankung, die unversehens den Körper der Wissenschaft in seiner Gesamtheit erfasst hat» (S. 15). Umbach (2002) fragt wegen dramatisch ansteigender Evaluierungswünsche im Wissenschaftssystem, ob «Evaluitis» heilbar sei. Stoellger (2005a, 2005b, 2005c) spricht von einem akuten «Morbus Evaluitis» aufgrund einer epidemischen Breite der Evaluationstätigkeit. Für qualitativ hochwertige Evaluationen und gegen eine «Evaluitis» im Sinne von reinen Befragungsroutinen spricht sich Döring (2005) im Bereich der Lehrevaluation aus, und Frey (2007b, 2008) greift die Krankheitsmetapher auf, indem er insbesondere der Wissenschaft die Diagnose «Evaluitis» für Evaluation als sich epidemisch ausbreitende, neue Krankheit stellt – dieser Begriff ist seitdem immer wieder in der Literatur anzutreffen (z. B. Burzan & Jahnke, 2010; Hornbostel, 2016; Munske, 2014; Niggli, 2011). Es werden auch Warnungen ausgesprochen: «Vorsicht vor Evaluationismus!» (Kappler, 2010). Oder ist es gar so, dass wir uns zu Tode evaluieren, wie Preußler (2008) fragt – oder dass ein «Evaluationsnotstand» herrscht (Niedermair, 2012, S.8)?

Für einen differenzierten Umgang mit diesem vermeintlichen Unwort ist es notwendig, einige Definitionen vorzustellen und eine Arbeitsdefinition für dieses Buch zu formulieren.

Wortstamm

Auf der Suche nach einer adäquaten Definition gibt der Wortstamm einen ersten Hinweis. Auch wenn eine unmittelbare Herleitung aus dem Lateinischen nicht angebracht ist (entgegen der weitverbreiteten Meinung existiert das Wort «evaluare» im Lateinischen nicht), legt das Lateinlexikon erste Spuren. Wurzeln finden sich nämlich im lateinischen Wort «valor», das im Deutschen so viel bedeutet wie «bei Kräften sein», «wert sein» oder «gültig sein». Man beachte hierbei die eindeutig positive Konnotation.

Den etymologischen Herleitungen des Begriffes von Karbach (1998) folgend, entwickelte sich daraus zunächst das französische «valoir», woraus die Substantivierung «valeur» (im Sinne vom «prix», also auch Wert) entstand. Daraus wurde wiederum das Verb «évaluer» abgeleitet und von diesem das Substantiv «évaluation» («Schätzung», «Ermittlung» oder «Wertbestimmung») gebildet.

Die daraus hervorgegangenen englischen Wörter «evaluate» («bewerten») sowie «evaluation» («Einschätzung», «Auswertung») bilden die Grundlage für die heute im Deutschen gebräuchliche Form des Begriffes.

Eine erste, vom Wortstamm ausgehende Umschreibung von Evaluation lautet also:

«Bestimmung des Wertes einer Sache»