Joachim Merchel - Evaluation in der Sozialen Arbeit

Praktisches Erkenntnis- und Verwertungsinteresse

Zu 3:

Evaluation erfolgt immer im Hinblick auf bestimmte Verwendungszwecke. Es werden Daten erhoben, die als Planungs- und Entscheidungshilfen genutzt werden zur Überprüfung und Verbesserung des untersuchten Gegenstandsbereichs. Es sollen Handlungen, Maßnahmen, Handlungsprogramme, Verfahrensweisen überprüft und verbessert, Entscheidungsalternativen verdeutlicht, Folgen und Nebenfolgen von Handlungen genauer in den Blick genommen, Grundlagen für eine rationalere Entscheidungsfindung gefunden werden. Dies setzt voraus, dass die Akteure der Sozialen Arbeit, die eine Evaluation in ihrem Handlungsbereich initiieren, dafür Ziele definieren. Ohne genau festgelegte Ziele ist keine sinnvolle Evaluation möglich; erst über definierte Ziele erhält Evaluation eine Richtung. In dieser praxisbezogenen Ziel- und Zweckorientierung unterscheidet sich Evaluation einerseits von anderen, in der Sozialen Arbeit praktizierten Bewertungsmodalitäten wie z. B. Supervision, kollegiale Fallberatung, Problemgespräche, „runder Tisch“, und andererseits von „gewöhnlicher“ empirischer Forschung, bei der die praxisbezogene Verwendbarkeit der Forschungsergebnisse in der Regel nicht so deutlich im Mittelpunkt steht. Weil die Akteure der Sozialen Arbeit an pragmatischen Verfahren und an der Lösung praktischer Probleme interessiert sind, wird die Gültigkeit der Ergebnisse von Evaluationen häufig mit ihrer praktischen Bewährung gleichgesetzt – anders als in der wissenschaftlichen Evaluationsforschung, die stärker an „soweit wie möglich verallgemeinerbaren Aussagen interessiert“ ist (Lüders / Haubrich 2004, 326).

Weil Evaluation „mitten im Leben“ angesiedelt ist, somit die Gegenstände der Evaluation und die Konstellationen, die auf diese Gegenstände einwirken, so vielfältig und komplex sind, kann es kein allgemeingültiges Evaluationsdesign und keine speziell auf Evaluation ausgerichteten Methoden geben. Das Evaluationsdesign muss immer wieder neu auf den Gegenstand und auf die spezifische Situation abgestimmt werden. Dabei kann man zurückgreifen auf hilfreiche und erprobte Verfahrensregeln und auf Methoden und Instrumente, die aus der empirischen Sozialforschung transferiert werden können und auf die man sich beim „Erfinden“ eines adäquaten Evaluationsdesigns stützen kann. Doch „jede Erwartung, es könne einen allgemeinen und weitgehend verbindlichen methodologischen und / oder theoretischen Rahmen, eine Art Rezeptbuch für gute Evaluationen geben, ist eine Illusion“ (Kromrey 2000, 22).

Technologische und reflexive Nutzenerwartungen

Die mit dem Verwertungsinteresse einhergehende Nutzenerwartung kann in zwei unterschiedlichen Varianten auftreten:

• in einer technologischen Variante: Hier wünschen sich die Akteure empirische Hinweise, die möglichst kausale Bezüge deutlich machen (also: was genau dafür verantwortlich ist, dass etwas so und nicht anders funktioniert oder solche und keine anderen Ergebnisse mit sich bringt). Die Hinweise auf Kausalitäten sollen die Aspekte für eine Verbesserung genau identifizieren und die Wirksamkeit einer Maßnahme kalkulierbar verbessern. In dieser Erwartungsvariante ist das Ideal: ein hoher Grad der Festlegung von Entscheidungen durch Evaluation. Die Güte der Evaluation erweist sich an ihrer Prägekraft im Hinblick auf Entscheidungen.

• in einer reflexiven Variante: Dabei erhofft man sich von einer Evaluation empirische Hinweise, die auf Differenzen zwischen Ziel und erreichtem Zustand verweisen und die dementsprechend Anlass geben zu einer Suche nach Optimierungsmöglichkeiten – ohne eine Erwartung hinsichtlich genauer Handlungsanweisungen. Man verspricht sich von der Evaluation eine Reflexionshilfe in der Hoffnung, dass die Güte der Reflexion die Wahrscheinlichkeit einer guten Entscheidung erhöht.

Die skizzierten Erwartungsmuster markieren zwei Tendenzen, die im Alltag meist eher unausgesprochen, implizit wirksam sind und zwischen denen sich Akteure der Sozialen Arbeit bewegen, wenn sie die Mühen einer Evaluation auf sich nehmen wollen. Im Vorfeld einer Evaluation sollten sich die Beteiligten klar darüber werden, welchem dieser Erwartungsmuster sie zuneigen und ob mit dem Evaluationsdesign mitsamt den Evaluationsmethoden, die sie entwerfen, ihre Erwartung realistischerweise eingelöst werden kann.

Organisationaler Zusammenhang

Zu 4:

Soziale Arbeit als helfendes und / oder kontrollierendes Handeln bei sozialen Problemen ereignet sich immer in Organisationszusammenhängen. Anders als spontanes und lebensweltliches Helfen erfolgt Soziale Arbeit in organisierter Form: Grundlage ist ein gesellschaftlicher Auftrag, sie muss sich an darauf ausgerichteten Zielen orientieren und handelt in bestimmten methodischen Mustern. Soziale Arbeit wird durch mehr oder weniger komplizierte und politisch-administrativ festgelegte Finanzierungsformen am Leben erhalten, erfordert Kooperationen und erwartbare Handlungsketten von Akteuren. Sie ist also organisiertes Handeln sowohl im Hinblick auf Abläufe als auch im Hinblick auf die Einbindung in organisationale Strukturen. Vor diesem Hintergrund ist Evaluation nicht nur als ein methodisches Arrangement, sondern immer auch im Zusammenhang einer Organisation (oder auch mehrerer Organisationen) zu sehen. Organisationen sind auf systematische Informationen angewiesen: etwa über den Grad der Zielerreichung, über die Effektivität ihrer Handlungsprogramme, über das Verhältnis von Aufwand und Nutzen ihres Handelns, über den bei ihren Adressaten und / oder Interessenträgern wahrgenommenen Nutzen ihrer Aktivitäten etc. Ohne solche Informationen sind Entscheidungen zur innengerichteten Steuerung, differenzierte Beurteilungen zur Leistungsfähigkeit von Organisationsteilen etc. und glaubwürdige Aktivitäten zur außengerichteten Legitimation nur schwer möglich. Je prekärer die Situation für eine Organisation wird, je störungsanfälliger also innere Abläufe und je bedrohlicher die Legitimationsanfragen von außen werden, desto mehr benötigt die Organisation solche Informationen, die u.a. durch Evaluation erzeugt werden können. Die wachsenden Legitimationsanfragen an Organisationen Sozialer Arbeit („Welche Effekte erzeugt Ihr eigentlich mit dem Geld, das Ihr von der Gesellschaft erhaltet?“) sowie der Druck zu größerer Flexibilität und Wirtschaftlichkeit können als ein Erklärungsfaktor für die wachsende Bedeutung des Evaluationsthemas in den letzten Jahren angesehen werden.

Verbindung zur Qualitätsentwicklung

Zu 5:

Dass im Gefolge der Qualitätsdiskussion in der Sozialen Arbeit (Merchel 2013) auch die Evaluation immer stärker in den Blick genommen wurde, ist kein Zufall. Denn „Evaluation ist untrennbar mit Qualitätssicherung und Qualitätsentwicklung verbunden“ (Böttcher et al. 2006, 7). Der Zweck, für den die Akteure die Mühe der Evaluation auf sich nehmen, besteht primär darin, genauere Informationen zur Bewertung der Qualität von Arbeit und Hinweise für eine gezielte Verbesserung von Strukturen, Prozessen und Ergebnissen des Handelns zu erhalten. Zwar ist nicht bei jeder Evaluation explizit das Thema „Qualität“ angesprochen, jedoch spielen Aspekte der Qualität implizit immer eine Rolle, auch dann, wenn „lediglich“ im Rahmen einer Konzeptevaluation Erwartungen von Interessenträgern erfragt werden oder eine Evaluation nicht präzise in die methodische Abfolge einer systematisierten Qualitätsentwicklung eingebunden wird. Der Bezug zum Thema „Güte der Arbeit“ ist immer vorhanden. Umgekehrt ist jede Form des Qualitätsmanagements auf Evaluation angewiesen: Eine systematische Überprüfung und eine gezielte Weiterentwicklung von Strukturen und Prozessen bedürfen einer Bewertung des Bestehenden und der Auswirkungen von Maßnahmen zur Weiterentwicklung der Qualität durch Daten. Insofern benötigt jedes tragfähige Qualitätsmanagement Evaluation. Auch dann, wenn das Qualitätsmanagement vorwiegend in einer Standardisierung von Verfahrensweisen liegt (wie z. B. beim Qualitätsmanagement nach DIN ISO; Merchel 2013, 79 ff, 141 ff), benötigt man Informationen darüber, ob und wie die Verfahrensstandardisierungen von den Mitarbeitern angewendet werden, mit welchen Schwierigkeiten die Anwendung verbunden ist, in welchen Fällen die Standards differenziert werden müssen, ob Verfahrensstandards mit problematischen Nebenwirkungen (z. B. äußerlicher Ritualisierung) verbunden sind (Merchel 2018a, 297 ff.) etc.; zur Erlangung solcher Informationen, wenn sie nicht nur „zufällig“ eingesammelt werden sollen, ist man auf Evaluation angewiesen. Evaluation und Qualitätsmanagement sind also nicht identisch, aber Evaluation ist mit Qualitätsmanagement eng verbunden, sie ist eine methodische Voraussetzung für ein gutes Qualitätsmanagement. Die Verbindung zwischen beiden ist so intensiv, dass man (anders als z. B. Stockmann 2006b, 83 ff, der auf ein sehr enges Konzept von Qualitätsmanagement rekurriert) die gemeinsamen Intentionen und die methodisch-instrumentelle Verkoppelung stärker gewichten sollte als die Unterschiedlichkeit in der Herkunft beider Ansätze.