Joachim Merchel - Evaluation in der Sozialen Arbeit

Produktevaluation

• Produktevaluation: Materielle „Produkte“ als Gegenstand von Evaluation tauchen bei der Sozialen Arbeit nur selten auf. Denn die Soziale Arbeit besteht in ihrem Kern aus sozialen Dienstleistungen (Merchel 2015b, 65 ff), und nur selten erhalten materielle „Produkte“ eine solche Bedeutung, dass sie zu einem Gegenstand von Evaluation werden. Als Produktevaluation könnte z. B. die Untersuchung von Spielgeräten, von für Kinder verwendetem Mobiliar oder von Erzeugnissen einer Werkstatt für Menschen mit Behinderung gelten. Produktevaluationen, die dem von der „Stiftung Warentest“ bekannten Muster folgen, haben in der Sozialen Arbeit nur einen marginalen Stellenwert.

Schwerpunkt: Programmevaluationen

In der Sozialen Arbeit liegt der Schwerpunkt bei den Programmevaluationen. Im Mittelpunkt stehen die Aktivitäten (Maßnahmen, Angebote, Interventionen) von Organisationen, Gruppen, Teams oder einzelnen Akteuren. Untersucht und bewertet werden sollen deren strukturelle Voraussetzungen, deren Planung und / oder Umsetzung sowie die daraus resultierenden Ergebnisse, Wirkungen und Effekte. Politikevaluation vollzieht sich – wenn sie überhaupt stattfindet, was leider nur vereinzelt der Fall ist – in der Regel im Rahmen von Forschungsprojekten (Evaluationsforschung). Organisationsevaluationen sind sehr selten; sie werden bisweilen im Rahmen von Projekten zur Organisationsentwicklung initiiert (Merchel 2005; Schiersmann/ Thiel 2009): entweder zu Beginn eines solchen Prozesses im Rahmen der „Organisationsdiagnose“ oder am Ende eines Entwicklungszyklus, um Veränderungen in der Organisation zu erkunden. Personalevaluationen werden wegen der Hemmungen, Personen zum Gegenstand einer Untersuchung zu machen, kaum realisiert; wenn personenbezogene Aspekte im Rahmen von Evaluationen zur Sprache kommen, dann am ehesten bei der Auswertung der Ergebnisse von Programmevaluationen – in der Debatte darüber, ob und welche personellen Konstellationen möglicherweise als Hintergrund für die Ergebnisse bedacht werden müssen und an welchen Stellen der Konsequenzen aus den Evaluationsergebnissen personenbezogene Handlungsstrategien zur Verbesserung entworfen werden sollten.

Verschiedene Aspekte der Programmevaluation

Für die Programmevaluation, die in der Sozialen Arbeit den dominierenden Typus ausmacht, lassen sich verschiedene Aspekte differenzieren, die in unterschiedlicher Intensität in den konkreten Evaluationen zum Tragen kommen können. Nicht jeder der nachfolgend aufgeführten Aspekte muss in jeder Evaluation angesprochen werden, und manche Evaluation legt den Schwerpunkt auf nur eine Dimension oder gar einen Teilbereich dieser Dimension (Böttcher 2008, 893 f):

• Bedarfsbewertung: Hier sollen Fragen beantwortet werden hinsichtlich der Art der Probleme, auf die ein Programm einwirken soll – ob und welche Zielgruppe einen Bedarf hat, ob und wie weit Interventionen benötigt werden.

• Bewertung der Programmtheorie: Die Evaluation soll Antworten auf die Frage ermöglichen, ob die Interventionen auf angemessenen theoretischen Annahmen gründen, ob die Ziele des Programms adäquat verfasst worden sind (z. B. überhaupt evaluierbar formuliert worden sind) und ob die Ziele in einer angemessenen Verbindung zu den Interventionen stehen.

• Bewertung des Programmprozesses: Hier geht es um die Untersuchung und Bewertung der tatsächlichen operativen Prozesse – ob und wie weit die Durchführung mit dem geplanten Programm übereinstimmt, ob und welche Beeinträchtigungen durch externe Einmischungen oder durch interne Unstimmigkeiten stattgefunden haben, ob die Kooperationsbereitschaft der Akteure ausreichend war etc.

• Wirkungsmessung / Ergebnisevaluation: Die Evaluation legt offen, ob und in welchem Ausmaß die mit dem Programm erwünschten Ergebnisse erreicht wurden. Möglicherweise können durch die Evaluation auch Anhaltspunkte markiert werden, die eine Erörterung der Gründe für die Ergebnisausprägung anregen (z. B. im Hinblick auf die für die Soziale Arbeit erforderliche Bereitschaft zur „Koproduktion“ auf Seiten der Adressaten). Bei der Ergebnisevaluation sollte es nicht nur um die Erhebung von Daten zur beabsichtigten Wirkung gehen, sondern es sollten auch mögliche, nicht beabsichtigte Nebenwirkungen in den Blick genommen werden.

• Bewertung der Programmeffizienz: Dieser Evaluationsaspekt richtet sich auf das Verhältnis von Aufwand und Nutzen des Programms oder einzelner Phasen der Programmgestaltung. Dabei bedarf es der Wahrnehmung und der Abwägung zwischen verschiedenen Auffassungen beteiligter Akteure zu dem, was als „Aufwand“ im Rahmen eines Programms gelten soll und an welchen Parametern „Nutzen“ zu messen ist.

Für alle diese Gegenstände von Evaluation gilt selbstverständlich die Anforderung, die Kriterien bzw. Fragestellungen genau zu formulieren, die der jeweiligen Evaluation zugrunde gelegt wird. Denn jeder Gegenstand einer Evaluation kann immer nur unter bestimmten Gesichtspunkten untersucht und bewertet werden. Nur in Verbindung mit einem oder mehreren vor Beginn der Evaluation formulierten Kriterien oder Fragestellungen erhält eine Evaluation die Richtung, durch die ihre Ergebnisse brauchbar werden können. Die Bestimmung des Gegenstandes und die Eingrenzung auf bestimmte Kriterien oder Fragestellungen gehören also zusammen, um der Evaluation eine tragfähige Richtung zu geben.

1.4 Zusammenfassung in Leitsätzen

• Bei „Evaluation“ handelt es sich um ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und für die Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll.

Eigenständiges methodisches Profil

• Evaluation sollte als ein Bestandteil professionellen Handelns verstanden werden, jedoch wäre es verfehlt, wenn man für jede Form der reflektierenden Bewertung beruflichen Handelns den Begriff „Evaluation“ verwenden würde. Evaluation hat mit ihrem Bezug zur Datenerhebung als Grundlage für Bewertungsvorgänge ein eigenes methodisches Profil und ist daher abzugrenzen gegenüber anderen Prüfungs- und Bewertungsvorgängen, in denen über professionelles Handeln reflektiert wird.

Differenz zu Evaluationsforschung

• Evaluation erfolgt zwar auf der Basis sozialwissenschaftlicher Methoden und Modalitäten der Datenerhebung und Datenverwertung, jedoch muss zwischen Evaluation und Evaluationsforschung unterschieden werden. Je stärker und unmittelbarer Evaluation mit der Praxis von Organisationen und deren Akteuren verknüpft wird, desto stärker müssen auch die Anforderungen der Praxis mit den für die sozialwissenschaftliche Methodik geltenden Gütekriterien in einen Ausgleich gebracht werden. Auch die bei Evaluationen häufig wenig markante Trennung zwischen Praxisakteuren und Evaluationsakteuren lässt es sinnvoll erscheinen, zwischen einer in und mit der Praxis verwobenen Evaluation und Evaluationsforschung zu differenzieren. Das vorliegende Einführungsbuch widmet sich schwerpunktmäßig der erstgenannten Variante.

Gegenstände

• Die Gegenstände, auf die sich Evaluation richtet, lassen sich aufgliedern in: Politikevaluation, Programmevaluation, Organisationsevaluation, Personalevaluation und Produktevaluation. Bei Sozialer Arbeit stehen Programmevaluationen im Zentrum. Die anderen Evaluationen haben in der Sozialen Arbeit einen randständigen Stellenwert.

2 Warum benötigt man in der Sozialen Arbeit Evaluation?

Organisationsexterne Anlässe

Dafür, dass sich Akteure in der Sozialen Arbeit der Mühe einer Evaluation unterziehen oder den Aufwand einer solchen akzeptieren, gibt es unterschiedliche Anlässe. Diese können außerhalb der Organisation liegen, aber erhebliche Auswirkungen auf die Existenz oder die Gestaltungsmöglichkeiten einer Einrichtung haben. So können z. B. die Verantwortlichen einer Einrichtung der Erziehungshilfe bemerken, dass konkurrierende Einrichtungen erheblich besser von Jugendämtern belegt bzw. genutzt werden, und dass auf Dauer eine existenzbedrohende Unterbelegung droht. Oder Nachbarn beschweren sich häufig über einen vermeintlich vom Jugendzentrum ausgehenden Vandalismus, wodurch das Jugendzentrum einem Druck von Seiten des Jugendamtes,der regionalen Politiker und der Öffentlichkeit ausgesetzt wird. Oder öffentliche Debatten um einen scheinbar mangelnden Nutzen von Hilfsangeboten und daraus resultierende Vorwürfe der ineffizienten Verwendung von Steuergeldern (z. B. im Hinblick auf Erlebnispädagogik oder genereller im Hinblick auf hohe Kosten stationärer Hilfen) setzen Anbieter solcher Hilfen unter Legitimationsdruck. Oder die Weiterfinanzierung einer (Modell-)Maßnahme wird von Nachweisen zu deren Effektivität abhängig gemacht. In all diesen Fällen kann Evaluation als ein Instrument angesehen werden, um eine Grundlage für Aktivitäten zur Existenzsicherung der Einrichtung bzw. eines Angebots zu schaffen.