Joachim Merchel - Evaluation in der Sozialen Arbeit

1.1 Definitionselemente von „Evaluation“

Systematisierte Bewertung

Evaluation als eine (teil-)professionelle Praxis beginnt dort, wo ein Bewertungsvorgang methodisch systematisiert wird mit dem Ziel, ein verbessertes Handlungswissen für die Praxis bzw. für Entscheidungen in der Praxis zu gewinnen. Eine solche, mit professionellem Impetus vollzogene Evaluation setzt sich ab von einem alltäglichen Bewerten, auch wenn dieses auf der Grundlage eines bewussten, an Kriterien ausgerichteten Abwägens oder Prüfens stattfindet. Das Bewerten eines Films nach technischen oder künstlerischen Kriterien oder das mehrmalige Abschmecken einer Suppe während eines Kochvorgangs sollte man sinnvollerweise nicht als „Evaluation“ etikettieren. Denn ansonsten ließen sich vielfältige und unermesslich zahlreiche Geschichten unter dem Titel „Mein evaluativer Alltag“ schreiben. Wenn demgegenüber der Evaluationsbegriff mit einem systematisierten Vorgehen und einem professionellen Impuls in Verbindung gebracht wird, so kann man mit Lüders / Haubrich (2004, 324 ff) unterscheiden zwischen

• Evaluation als Bestandteil beruflichen Handelns und

• Evaluation als Teil des Wissenschaftssystems (Evaluationsforschung).

In der beruflichen Praxis und für die strukturierte Weiterentwicklung professionellen Handelns steht eine Vielzahl von Konzepten und Strategien zur methodischen Bewertung von Maßnahmen, Konzepten, Organisationen etc. zur Verfügung, die unmittelbar an Entscheidungen und Handlungsmuster der professionellen Akteure angekoppelt sind, also unmittelbar pragmatische Zwecke verfolgen. Evaluationsforschung hingegen markiert denjenigen Teilbereich von Evaluation, der sozialwissenschaftliche Forschungsverfahren als Mittel der Erkenntnisgewinnung einsetzt und sich dabei stringent an Standards der empirischen Sozialforschung orientiert (Lüders / Haubrich 2003, 309). Mit der Ankoppelung von Evaluation an eine „professionelle Praxis“ ist zweierlei gemeint: die Bindung von Evaluation an Zwecke, die in einem professionellen Kontext verfolgt werden, und die – zumindest in Ansätzen – professionelle Methodik, mit der Evaluationsverfahren realisiert werden.

Charakteristika zu „Evaluation“

Somit lassen sich zunächst drei allgemeine Charakteristika von Evaluation festhalten (Lüders / Haubrich 2004, 318 ff):

1) Evaluation ist eine Form des Bewertens, und dies setzt voraus, dass dafür Kriterien oder Maßstäbe herausgearbeitet werden.

2) Die Bewertung erfolgt auf der Basis einer systematisierten Informationsgewinnung.

3) Die systematisierte Informationsgewinnung dient einem spezifischen praktischen Erkenntnis- und Verwertungsinteresse. Es gilt das „Primat der Praxis vor der Wissenschaft“ (Kromrey 2000, 22).

Mit diesen drei Charakteristika gehen zwei weitere Elemente von Evaluation einher:

4) Evaluation ist in der Regel eingebettet in einen organisationalen Zusammenhang; sie erfolgt in einer Organisation oder in Verbindung zu mehreren Organisationen.

5) Evaluation ist mit Qualitätsentwicklung verbunden; sie zielt auf das Erzeugen von Wissen, um professionelles Handeln und daraus folgende Ergebnisse zu verbessern.

Im Folgenden sollen diese fünf Merkmale von Evaluation näher erläutert werden.

Bewertungsmaßstäbe

Zu 1:

Die praktische Zweckorientierung von Evaluation schließt immer einen Bewertungsvorgang ein. Das durch Evaluation erzeugte Wissen dient der Bewertung des zu evaluierenden Sachverhalts, und auch der Evaluationsvorgang selbst impliziert eine Fülle von Bewertungen: von der Auswahl des Gegenstandes über die Festlegung der Evaluationsziele, die Erarbeitung und Auswahl der genauen Fragestellung, die Art der Datensammlung und die Form der Datenauswertung bis hin zur Diskussion der Ergebnisse und Schlussfolgerungen. Um Evaluationsergebnisse praxisorientiert verwerten zu können, bedarf es der Festlegung von Kriterien oder Maßstäben, die für die bewertende Erörterung der Evaluationsergebnisse zugrunde gelegt werden. Der Zusammenhang, in dem die Evaluation und deren Ergebnisse verwertet werden, macht Evaluation immer zu einem „politischen“ Vorgang: ein Prozess, in dem Wertmaßstäbe zur Geltung gebracht werden, in dem Interessen und darauf bezogene Hoffnungen und Befürchtungen aktualisiert werden und in dem daher mit strategischen Kalkülen verschiedener Interessenträger gerechnet werden muss. Evaluation löst deswegen in der Regel eine soziale Dynamik aus, weil Interessen von Beteiligten angesprochen werden, Handlungsmöglichkeiten von Einzelnen oder Gruppen möglicherweise in Frage stehen (eingeschränkt oder ausgeweitet werden können), Gewinne oder Verluste von materiellen und nichtmateriellen Ressourcen (finanzielle Förderung, Ausstattungen mit Arbeitsmaterial, Ansehen, Geltung etc.) drohen. Daher ist Evaluation nicht nur als ein sachlicher Vorgang, sondern auch als ein Prozess mit einem hohen sozial dynamisierenden Potenzial zu betrachten, was auch bei der Gestaltung des Rahmens für Evaluationen zu berücksichtigen ist (vgl. Kap. 6). Aus dem für Evaluation konstitutiven Wertbezug ist die Notwendigkeit zu schlussfolgern, dass die an einem Evaluationsprozess Beteiligten ihre Positionen offenlegen und einen Diskurs über die bei der Evaluation aktualisierten Wertsetzungen führen. Evaluation ist somit gebunden an Verfahren der Aushandlung und der diskursiven Rechtfertigung.

Maßstäbe, die als Bewertungshintergrund und als Begründung für Wertsetzungen in einer Evaluation herangezogen werden können, sind u.a.:

• Richtwerte,

• Ziele,

• Zielgruppenerwartungen,

• Erwartungen von Interessenträgern („stakeholder“),

• in der Profession geltende und durch die Profession legitimierte Standards,

• Vergleiche zu vorherigen Verläufen / Ergebnissen (Zeitreihenvergleiche),

• definierte Mindestansprüche (Minimalanforderungen),

• maximal erreichbare Werte (Definition eines Optimums) (Stockmann / Meyer 2010, 78 f).

Systematisierte Informationsgewinnung

Zu 2:

Die für die Bewertung eines Sachverhalts erforderlichen Informationen werden nicht zufällig erhoben, sondern in systematischen, methodisch angeleiteten und transparenten Verfahren. So werden z. B. in einer Kindertageseinrichtung die einzelnen Erzieherinnen in einer Teamsitzung nicht nur nach dem Eindruck gefragt, ob sich nach ihrer Einschätzung durch das Sprachförderungsprogramm, das in den letzten sechs Wochen realisiert worden ist, in den einzelnen Gruppen „etwas verbessert“ habe, sondern zur „Evaluation“ wird eine solche Bewertung erst dann, wenn genauer definiert worden ist, welche Effekte man mit dem Sprachförderungsprogramm erzielen wollte, wenn darauf ausgerichtete Beobachtungsbögen erarbeitet worden sind, und wenn Verfahren verabredet worden sind, in welchen Situationen und durch wen die Beobachtungsbögen eingesetzt werden und wie die Auswertung der dokumentierten Beobachtungen vonstattengehen soll. Um von „Evaluation“ sprechen zu können, bedarf es somit der kriteriengeleiteten, im Hinblick auf ein Wissensziel strukturierten Auswahl von Informationen, die durch diese Kriterien zu „Daten“ werden. Die gewonnenen Daten sind nur dann tauglich, wenn sie in einer an wissenschaftlichen Mindeststandards orientierten Weise gewonnen wurden: nach bestimmten Verfahrensregeln, in einem transparenten, überprüfbaren Vorgehen und nach fachlich akzeptierten Gütekriterien (z. B. Validität, Verlässlichkeit etc.). Die Datensammlung muss mittels intersubjektiver und für den zu evaluierenden Sachverhalt aussagefähiger Kriterien und Messverfahren erfolgen. Dabei muss jedoch im Blick behalten werden, dass Messen eine Voraussetzung darstellt, Evaluation jedoch darüber hinausgeht: „Messen“ ist Deskription (auf der Grundlage vorgängiger Entscheidungen), Evaluieren als darauf gegründeter Bewertungsvorgang zielt darüber hinaus auf Lernprozesse im Praxisfeld (Abs et al. 2006, 106). Mit dieser methodischen Systematisierung sorgt Evaluation für eine Distanz zum unmittelbaren Handeln in der Praxis, die Voraussetzung ist für tragfähige Prozesse des Bewertens. Damit wird es möglich, eine „Randposition“ einnehmen zu können, die eine bessere Beobachtung der Praxis erlaubt.