Joachim Merchel - Evaluation in der Sozialen Arbeit

Zusammenfassend kann man Evaluation somit charakterisieren als ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und in der Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll. (Böttcher et al. 2006, 9; Lüders / Lüders 2004, 318; Kromrey 2000, 22; Stockmann / Meyer 2010, 64 ff)

1.2 Evaluation zwischen methodischem Handeln und Evaluationsforschung

Evaluation als ein methodischer Ansatz zur systematischen Bewertung von Gegenständen bzw. Sachverhalten mit praktischer Absicht muss sich positionieren zwischen zwei konzeptionellen Vorstellungen, die ebenfalls im Evaluationsbegriff enthalten sind: einem Verständnis, das Evaluation als einen „normalen“ Bestandteil jedes professionellen Handelns ansieht, und einer Konzeptionsvorstellung, die Evaluation als eine Form sozialwissenschaftlicher Forschung versteht und mit Evaluationsforschung gleichsetzt. Das Schwierige für eine Positionsfindung zwischen diesen beiden Verständnissen von Evaluation liegt darin, dass eine „Evaluation in pragmatischer Absicht“, wie sie in diesem Buch zugrunde gelegt wird, einerseits Elemente der beiden Verständnisse in sich aufnimmt und andererseits spezifische Akzente setzt, in denen sie sich von ihnen unterscheiden muss.

Bewertung als Teil professionellen Handelns

Dass eine Bewertung von Strukturen, Prozessen und Ergebnissen zu einer professionellen Handlungsweise gehört, leuchtet unmittelbar ein. Das legt es nahe, Evaluation als einen integralen Bestandteil von methodischem Handeln zu konzipieren. So verweist Müller (2009) darauf, dass Evaluation ein unerlässlicher Bestandteil einer professionellen Fallbearbeitung ist,

„unabhängig davon, ob sie als besonderer Handlungsschritt mit besonderen Mitteln organisiert wird oder nur als Teilfunktion der Kontrolle in andere Schritte einfließt. Immer aber heißt Evaluation, zu prüfen, ob das Handeln der Professionellen verantwortlich genannt werden kann.“ (75; ähnlich Michel-Schwartze 2002, 155 ff)

Während in anderen Veröffentlichungen zum methodischen Handeln Evaluation entweder als ein spezifischer Arbeitsschritt mit eigenen methodischen Anforderungen definiert wird (v. Spiegel 2018, 132 ff) oder der diesbezügliche Status von Evaluation offen gelassen wird (Galuske 2009), wird Evaluation in dem Zitat von Müller nicht mehr notwendigerweise als ein eigener Handlungsschritt angesehen. Es wird nahegelegt, dass jegliche Form der Prüfung, ob „das Handeln der Professionellen verantwortlich genannt werden kann“, als Bewertungsvorgang mit dem Etikett „Evaluation“ versehen werden kann. Die Ausdifferenzierung als eigener methodischer Arbeitsschritt wird als ein Definitionselement für Evaluation für nicht erforderlich gehalten. Evaluation wird verstanden als ein integraler Bestandteil professionellen methodischen Handelns, egal in welcher Form die Prüfungs- und Bewertungsvorgänge stattfinden. Ein solches Verständnis macht es jedoch schwierig, Evaluation gegenüber anderen Handlungselementen abzugrenzen. Es führt zu dem zu Beginn dieses Kapitel angesprochenen Problem der Bedeutungsdiffusität und der Verleitung zu sprachlicher Ungenauigkeit: Wenn jedes kollegiale Gespräch über die Angemessenheit von Handlungsschritten oder jede Nutzerstatistik im Jahresbericht zur „Evaluation“ geadelt werden kann und wenn jede Einrichtung für sich in Anspruch nehmen kann, irgendetwas zu tun, was sie mit dem Namen „Evaluation“ belegen kann, wird der Begriff sinnlos und verliert seine methodischen Herausforderungen, die er jedoch transportieren muss, wenn er wirkungsvoll zur Herausbildung und Stärkung von Professionalität in der Sozialen Arbeit beitragen soll.

Falsche Gleichsetzung mit Evaluationsforschung

Auf der anderen Seite steht das Faktum, dass in einem Großteil der themenbezogenen Veröffentlichungen Evaluation als Evaluationsforschung verstanden bzw. mit dieser gleichgesetzt wird. Was Heiner in ihrem im Jahr 2001 erschienenen Handbuch-Artikel zur mangelnden Differenzierung vermerkte, gilt für einen Großteil der Veröffentlichungen immer noch: „In deutschsprachigen Lehrbüchern werden ‚Evaluation‘ und ‚Evaluationsforschung‘ meist synonym verwendet. Evaluation wird damit auf Forschung reduziert.“ (2001a, 481; als Belege u.a. Stockmann 2007; Stockmann / Meyer 2010; Böttcher et al. 2006, 9 f; Kuper 2005) Die Identifizierung von Evaluation als einem Modus sozialwissenschaftlicher Forschung und die begrenzte Ausrichtung an einem forschungsorientierten Evaluationsverständnis münden dann bisweilen ein in eine Schelte gegenüber der „Laienevaluation“, also gegenüber einer Evaluation, die von Nicht-Sozialwissenschaftlern oder von Personen ohne sozialwissenschaftlich-methodische Forschungserfahrung durchgeführt wird (Stockmann / Meyer 2010, 49 f). Solche Kritik mag einerseits berechtigt sein und produktiv wirken, weil damit vor einem allzu leichtfertigen Umgang mit Evaluationsmethoden gewarnt wird. Auch eine stärker in der Praxis verankerte Evaluation benötigt einen kompetenten Umgang mit Evaluationsmethoden, um differenzierte und für die Praxis brauchbare Ergebnisse erzeugen zu können. Andererseits geht eine undifferenzierte Verkoppelung von Evaluation und Forschung in eine problematische Richtung, weil gerade die Forderung, dass Akteure ihre beruflichen Handlungen und die Folgen ihres beruflichen Alltagshandelns systematisch untersuchen und die Ergebnisse dieser Untersuchungen zur gezielten Verbesserung ihres Alltagshandelns einsetzen sollen, auf eine methodische Qualifizierung der „Laien“ setzt, ohne dass diese gleich zu „forschungskompetenten Evaluationsexperten“ werden müssen. Evaluation ist insofern ein „wissenschaftliches“ Vorgehen, als es sich um eine systematische, nach methodischen Regeln erfolgende, ergebnisoffen angelegte Erhebung und Auswertung von Daten handelt, die nach transparenten Gütekriterien überprüfbar sein müssen und damit als Grundlage für einen Bewertungsprozess herangezogen werden können. Aber je stärker Evaluation in die Praxis von Organisationen und ihren Akteuren hineinreicht, desto deutlicher muss in den Blick genommen werden, dass Evaluation sich partiell vom Forschungsvorgehen unterscheidet: Die Evaluationslogik ist dann nicht mehr allein im Hinblick auf Forschungsvorgehen zu legitimieren, sondern auch auf die Anforderungen der Praxis und die organisationale Einbindung der Evaluation. Auch als Gütekriterien sind dann nicht allein die üblichen sozialwissenschaftlichen Normen (Validität, Reliabilität, Objektivität …) maßgeblich (vgl. Kap. 7).

Anspruch: Herstellen von Plausibilität

Neben der engen Ausrichtung an Gütekriterien sozialwissenschaftlicher Forschung unterscheidet sich Evaluationsforschung in einem weiteren Aspekt von (mit Praxis verwobener) Evaluation: Evaluationsforschung verbindet sich mit dem Anspruch, nicht nur Wirkungen und Nebenwirkungen zu erheben und festzustellen, sondern darüber hinaus auch die wesentlichen Wirkfaktoren möglichst präzise herauszuarbeiten. Evaluationsforschung folgt einem kausalanalytischen Anspruch: Im Grundsatz sollen Wirkungsmechanismen erforscht und erkannt werden (Kromrey 2005, 45 ff; 2000, 40 ff). Demgegenüber verbleibt dieses Bemühen bei „praxisbezogener Evaluation“ auf der Ebene der Herstellung von Plausibilität: Die Feststellung von Wirkungen und Nebenwirkungen steht im Mittelpunkt, und es ist gut, wenn für die Erörterung möglicher Hintergründe durch die Evaluation Anhaltspunkte sichtbar werden, die die Debatte anregen. Der Anspruch hinsichtlich der Präzision bei der Herausarbeitung von Wirkungsfaktoren ist bei „praxisbezogener Evaluation“ also weitaus begrenzter als bei der Evaluationsforschung.