Lars Balzer - evaluiert (E-Book)

DEFINITION

Evaluation ist eine wissenschaftliche Dienstleistung, die für festgelegte Zwecke und nach begründeten Kriterien insbesondere Programme und Maßnahmen beschreibt und bewertet. Die Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.

Nach unserem Verständnis müssen Personen für diese Tätigkeit besonders qualifiziert sein. Das bedeutet aber nicht, dass ausschließlich Personen aus dem Umfeld von Hochschulen und Forschungseinrichtungen mit hoher wissenschaftlicher Expertise für diese Aufgabe infrage kommen. Auch Daten von Evaluationen, die nicht von solchen Forschenden oder in anderen Zusammenhängen als großen Forschungsprojekten erhoben worden sind, können sehr nützlich sein (vgl. Gutknecht-Gmeiner, 2009). Allerdings sind an jede Evaluation Qualitätsansprüche zu stellen, die Thema dieses Buches sind.

Wie ein roter Faden zieht sich dabei die Idee durch das Buch, sowohl bei der Festlegung von Evaluationsfragestellungen und Bewertungskriterien als auch bei der Gewinnung von Informationen und besonders bei der Rückmeldung und Vermittlung der Evaluationsergebnisse Beteiligte wie auch Betroffene angemessen einzubeziehen. So kann eine hohe Nützlichkeit nicht erst der Evaluationsergebnisse (Ergebnisnutzen), sondern bereits des Evaluationsprozesses selbst (Prozessnutzen) unterstützt werden. Dies erfordert eine frühzeitige Planung auch dazu, wie die Verwendung der Evaluation eingeleitet werden soll.

Evaluation wird in diesem Buch als Ansatz dargestellt, der eigenständige wissenschaftliche Grundlagen, ein spezifisches Leistungsspektrum, typische Einsatzfelder und besondere Qualifikationsanforderungen hat und sich darin von anderen Ansätzen substanziell unterscheidet.

Manche Autorinnen und Autoren sehen dies anders, was hier kurz referiert sei.

Evaluation – ein Hilfsmittel der Steuerung?

Stockmann (2007, S.97) subsumiert Evaluation in einem umfassenden Vergleich von Ansätzen – wie anderen «Instrumenten» zur Steuerung im öffentlichen und privatwirtschaftlichen Sektor – unter die Hilfsmittel des Qualitätsmanagements wie Controlling, Balanced Scorecard, Benchmarking, Audit und außerdem das Monitoring, welches wie Evaluation einen stärker sozialwissenschaftlichen Entstehungshintergrund habe. All diese «Managementwerkzeuge […] stellen Instrumente einer modernen an Rationalitätskriterien orientierten Unternehmensführung bzw. Politiksteuerung dar».

Hummel (2001, S.23) schließt sich der Auffassung anderer Vertreterinnen und Vertreter des Bildungscontrollings an, dass Evaluation eine Teilmenge des Controllings sei. Schöni (2009, S.54–57) setzt sich einerseits kritisch davon ab und räumt der Evaluation einen eigenen Stellenwert ein, bezeichnet sie andererseits – wie Bedarfsabklärung, Zielbestimmung und Planung – als «Controlling-Element» in Unternehmen. Auch in seinem Fallbeispiel einer Berufsschule für Weiterbildung (Schöni, 2009, S.158) kommt Evaluation mit Stichwörtern wie «Unterrichts-Evaluation» oder «Service-Evaluation» primär als Verfahren der Datenzulieferung eines umfassenden, systemischen Controllingansatzes zum Einsatz.

Der Auffassung, Evaluation sei im Kern eine Werkzeugsammlung, die sich in Qualitätsmanagement- oder -sicherungssysteme von Unternehmen oder Non-Profit-Organisationen integrieren und unter sie subsumieren lasse, begegnet man häufig bei Qualitätsmanagerinnen und -managern, Qualitätsbeauftragten oder Controllingfachleuten. Diese verstehen unter Evaluation im Wesentlichen die Datenerhebungsinstrumente, die z.B. im Rahmen von Kundenbefragungen oder als Seminar-Feedbackbogen eingesetzt werden. Evaluation wird oft reduziert auf Datenerhebungsverfahren, die meist mit (Kunden-)Zufriedenheitsmaßen arbeiten oder Lernzieltests darstellen. Fragen zu den Quellen und der Legitimität von Bewertungskriterien, der Notwendigkeit von Zielsystemen oder curricularen, didaktisch-methodischen Modellen, der Angemessenheit der Beteiligung verschiedener Anspruchsgruppen bei der Festlegung von Evaluationsfragestellungen oder von Bewertungskriterien für Bildung, die ganze Frage nach Evaluationsstandards sowie der evaluationstheoretische Hintergrund etc. spielen hierbei keine oder eine sehr untergeordnete Rolle.

Evaluation braucht genügend Freiheit und Unabhängigkeit

Der Evaluation werden im Verständnis dieses Buches nicht die unbeschränkten Freiheitsgrade zugestanden, wie Grundlagenforschung sie benötigt. Sie braucht jedoch deutlich mehr Freiheit und Unabhängigkeit, als üblicherweise unternehmensinternen, managementgesteuerten Funktionen wie dem Controlling, dem Benchmarking oder dem Qualitätsmanagement zugestanden wird. Evaluation bewertet nicht nur, sondern macht auch die Bewertungskriterien transparent und damit dem Diskurs zwischen den verschiedenen Stakeholdergruppen zugänglich. Während Controlling und Qualitätsmanagement klar den Interessen der obersten Leitung einer Institution verpflichtet sind, müssen sich Evaluationen – zumal solche in öffentlich finanzierten Bildungsprogrammen – demokratischen Aushandlungsprozessen hinreichend öffnen. In den «Standards für Evaluationen» finden sich hierfür zahlreiche Anknüpfungspunkte (DeGEval – Gesellschaft für Evaluation e.V., 2016; SEVAL – Schweizerische Evaluationsgesellschaft, 2016; Yarbrough, Shulha, Hopson & Caruthers, 2011). Dies ist auch die Erklärung dafür, dass Evaluation vorrangig im demokratisch gesteuerten öffentlichen Bereich und in Non-Profit-Organisationen, ja auch in auf öffentliche Legitimation angewiesenen Stiftungen verbreitet ist, während sie in Profit-Organisationen auf enge Felder wie die Weiterbildung beschränkt ist und dort auch in Konkurrenz steht zu anderen, managementnäheren Ansätzen wie dem Bildungscontrolling.

Evaluationsfeld Bildung

Bildung als ein zentrales gesellschaftliches Handlungsfeld ist durch zahlreiche Wertspannungen und Interessenkonflikte gekennzeichnet. Stichwörter sind: selektive Zugänge, schichtspezifische Beteiligungsquoten, Lernwiderstände, Lernmüdigkeit, Pflicht und Chance zu lebenslangem Lernen. Die gesellschaftlichen und die individuellen Bildungsziele und ihre Abstimmung aufeinander sind ebenso umstritten wie die didaktischen Ansätze, die optimal zu ihnen hinführen. Die wissenschaftlichen oder wissenschaftstheoretischen Positionen der vergangenen 50 Jahre weisen in höchst unterschiedliche Richtungen (Beispiele: geisteswissenschaftliche Pädagogik, Positivismus, Kritische Theorie, Konstruktivismus, Pragmatismus). Die Beschleunigung der Modernisierungszyklen in der Arbeitswelt und die damit erhöhten Anforderungen an eine flexible, individualisierte, passgenaue Aus- und Weiterbildung stellen diesen Bereich vor große Herausforderungen: «‹Mittlere Systematisierung› kennzeichnet auch die internen Strukturen des Weiterbildungsbereichs. Verglichen mit Schule und Hochschule ergibt sich fast ein reziprokes Bild: Wo auf der einen Seite Erstarrung droht, gibt es hier riskante Offenheit und Zerbrechlichkeit» (Faulstich, 2003, S.291).

Gesellschaftliche Relevanz

Evaluation ist ein wissenschaftlicher Ansatz, der die verschiedenen Akteure im Handlungsbereich der Bildung bei der systematischen Beschreibung und Bewertung von Programmen und Maßnahmen unterstützt. Die dafür speziell ausgebildeten Fachleute verwenden Methoden der empirischen Sozialforschung und passen sie an die Erfordernisse der Evaluationszwecke und -fragestellungen an. Evaluationen sind beauftragt – meist von öffentlichen Auftraggebenden, Non-Profit-Organisationen und Stiftungen oder von Personalentwicklungs- und Trainingsabteilungen von Unternehmen. Die Kriterien, nach denen bewertet wird, müssen möglichst früh geklärt werden, oft unter Einbezug mehrerer Beteiligtengruppen. Evaluation erfordert auch Klären und Transparentmachen der Werte, auf deren Basis die Werturteile gefällt werden. Sowohl diese Wertesensibilität als auch eine grundsätzliche Offenheit für Partizipation – auch bei der Festlegung von Wertmaßstäben – unterscheiden Evaluation von Steuerungsansätzen wie Controlling oder Qualitätsmanagement, die als Werkzeuge im Interesse der obersten Leitung von Organisationen fungieren. In der Praxis können sich die verschiedenen Ansätze stark annähern, wobei sie an Alleinstellungsmerkmalen einbüßen (Beispiele hierfür finden sich in Kempfert & Rolff, 2018, Kap. I). Gelegenheiten zur Partizipation erhöhen die Wahrscheinlichkeit, dass Evaluationsergebnisse genutzt werden und dass bereits die Durchführung der Evaluation positive Effekte auf die Bildungsmaßnahme hat.