Lars Balzer - evaluiert (E-Book)

Wie weiter oben schon beschrieben ( ➞ Kapitel 2.1), hat die DeGEval – Gesellschaft für Evaluation e.V. Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008, S.7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur empirischen Untersuchungstätigkeit werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S.333–335). Auch die Anforderungsliste der Schweizerischen Evaluationsgesellschaft (2012), die nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, aber zumindest an Evaluationsteams, meldet mit evaluationsspezifischen Grundkenntnissen (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodischen Kenntnissen (Konzepte und Designs von Evaluationen, Methoden und Instrumente der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie sozialen und diversen persönlichen Kompetenzen ähnliche Ansprüche an.

Beywl, Speer und Kehr (2004, S.110) stellen für den Bereich der Sozialpolitik fest: «Nur wenige Evaluatoren/-innen bringen ein so breites Kompetenzprofil mit, […] was ggf. aufwendigere Teamlösungen erforderlich macht, wodurch evtl. auch Abhängigkeiten eines/-r einzelnen stark involvierten Evaluators/-rin vorgebeugt werden kann.» Dies dürfte auch für Bildungsevaluationen gelten.

Torres (1991, S.189) definiert für intern agierende Evaluierende spezifische Anforderungen. Sie schreibt jenen die Rolle beratender Vermittler zu, die besondere Fähigkeiten brauchen, um den spezifischen Kontext, in dem sie agieren, verstehen und handhaben zu können. Zu diesen Fähigkeiten zählt demnach, kontextbezogene Einflüsse zu verstehen (vgl. dazu Conner, Fitzpatrick & Rog, 2012; vgl. speziell für die Weiterbildung Hansen, 2010, S.18–101), die Perspektiven von Beteiligten und Betroffenen zu identifizieren und zu verstehen, Glaubwürdigkeit und Vertrauen zu maximieren, Methoden an den erkenntnistheoretischen Orientierungen des Evaluationspublikums auszurichten, den Verantwortlichen Entscheidungen und Ergebnisse nahezubringen, dieselben über unterschiedliche Ansichten und Perspektiven zu unterrichten, Toleranz gegenüber Mehrdeutigem aufzubringen sowie Veränderungen zu unterstützen. Viele dieser Kompetenzen gelten auch für andere Evaluationsarten.

Glaubwürdigkeit der Evaluierenden

Was Auftraggebende vor der Auftragsvergabe abschätzen müssen, ist die Vertrauenswürdigkeit der Evaluierenden. Um diese transparent zu machen, sollten bei der Vorstellung des Evaluationsvorhabens die Namen und zentralen Informationen über die Evaluierenden vermittelt werden. Etwas schwieriger ist es, die Unabhängigkeit der Evaluierenden zu überprüfen oder potenzielle Interessenkonflikte und Abhängigkeiten aufzudecken.

Unbestechlichkeit, Objektivität und Neutralität sind ebenfalls Eigenschaften, die von Evaluierenden verlangt werden. Diese können allerdings durch die Abhängigkeit der Evaluierenden in Hinblick auf Folgeaufträge bedroht sein. Auch kann die mit der Dienstleistungshaltung verbundene Tendenz vieler Evaluierender, den Bedürfnissen der Auftraggebenden gerecht zu werden, ein Problem darstellen (Pleger & Sager, 2016; Scriven, 1993a, S.83), sodass nicht mehr wissenschaftlich Notwendiges und Korrektes, sondern vonseiten der Auftraggebenden Gewünschtes in den Vordergrund rückt.

Über alle Phasen der Evaluation stellen sich ethische Herausforderungen. Diese zu meistern erfordert (inter-)kulturelle Fähigkeiten und Haltungen, die über das handwerklich-wissenschaftliche Können hinausgehen (vgl. Morris, 2008).

➞ Lösung auf Seite 233

Warum ist es eigentlich notwendig, alle Akteure in einem so frühen Stadium der Evaluation, sogar noch vor der Konkretisierung der Evaluationszwecke und -fragestellungen, zu identifizieren?

Frühe Einbindung der Akteure steigert Evaluationsqualität

In vielerlei Hinsicht ist es zweckmäßig, die Beteiligten und Betroffenen in den Evaluationsprozess einzubinden. Das ist der Grundgedanke nutzungsfokussierter und auch partizipativer Evaluationsansätze. Ein zentrales Argument für den Einbezug von verschiedenen Beteiligten- und Betroffenengruppen besteht darin, dass man sich von deren Partizipation einen reibungslosen Ablauf, eine fundierte thematische Absicherung, hilfreiche Tipps für die konkrete Durchführung sowie eine gute Unterstützung bei der Nutzung der zu erzielenden Evaluationsergebnisse erhofft (Alkin, 1991; Mark & Shotland, 1985; O’Sullivan & D’Agostino, 2002; Patton, 2008, 2012).

Darüber hinaus wird es hilfreich sein, diese Personengruppen aktiv einzubinden, besonders auch dann, wenn Widerstände zu erwarten sind (Taut & Brauns, 2003). Außerdem kann der Einbezug derselben ihr Verständnis von Evaluationen erhöhen und sie sogar befähigen, ihr erworbenes Evaluationswissen später selbst anzuwenden. Dies zu ermöglichen, ist das zentrale Ziel des Empowerment-Ansatzes in der Evaluation (Fetterman, 2001).

Schließlich kann man fordern, dass Evaluationen in einer demokratischen Gesellschaft auf demokratischen Werten aufbauen sollen (House & Howe, 2000) und deswegen die Standpunkte der wichtigen Beteiligten- und Betroffenengruppen einzubeziehen sind (Strobl, Lobermeier & Heitmeyer, 2012).

Ob und in welchen Stadien der Evaluation der Einbezug von Beteiligten und Betroffenen sinnvoll ist, kann nicht allgemeingültig gesagt werden, sondern ist von Fall zu Fall zu entscheiden. Die Möglichkeiten sind vielfältig. Beteiligte und Betroffene können während des gesamten Prozesses einbezogen werden, oder ihre Mitarbeit ist besonders in einzelnen Phasen (ohne damit andere Phasen auszuschließen) des Evaluationsprozesses interessant, z.B. bei der Zielfindung, der Kriterienbestimmung, im Bewertungsprozess oder bei der Ergebnisnutzung.

Allerdings ist der Einbezug der Beteiligten und Betroffenen leichter beschrieben als realisiert. Sämtliche relevanten Personen(-gruppen) zu identifizieren, ist in der Praxis, besonders bei größeren Evaluationsgegenständen, selbst bei guten Voraussetzungen unmöglich bzw. würde kaum noch Zeit für die anderen (in den folgenden Kapiteln beschriebenen) Evaluationsaufgaben lassen.