Michael Schart - Fach- und sprachintegrierter Unterricht an der Universität

Gleichwohl entscheidet sich die Qualität eines Programms natürlich nicht daran, ob oder wie überzeugend und umfassend Bildungsziele und Bildungsprozesse curricular vorgezeichnet wurden. Ein Curriculum kann nie mehr darstellen als eine Hypothese, denn erst im Unterricht selbst, also im Zusammenwirken von Lehrenden, Lernenden, Materialien, Aufgabenstellungen und vielfältigen weiteren Kontextfaktoren nimmt es konkrete Gestalt an. Qualität entsteht immer auf der Ebene des praktischen Handelns und genau dort muss das kritische Nachfragen ansetzen. Ohne eine kontinuierliche Begleitung durch Evaluationsforschung, so die logische Konsequenz, laufen die im Curriculum niederlegten Qualitätsansprüche Gefahr, Luftschlösser zu bleiben oder von den Routinen des Unterrichtsalltags verformt zu werden. In diesem Sinne lassen sich Evaluationen – um es mit einer Metapher von Yang (2009:77) zu beschreiben – als das Herz eines Programmes verstehen, das alle anderen Elemente miteinander verbindet und ihnen die notwendige Energie zuführt. Umso erstaunlicher ist es, dass die Evaluationsforschung innerhalb der internationalen Fremdsprachendidaktik zu jenen Forschungsansätzen gezählt werden muss, die sich derzeit eher am Rande der Aufmerksamkeit bewegen (vgl. Norris 2016:169).

Um die Funktion der Programmevaluation in diesem Forschungsprojekt zu verdeutlichen, möchte ich zunächst zwei unterschiedliche Zugangsweisen gegenüberstellen: den diagnostischen Ansatz und den explorativen Ansatz2. Ersterer rückt die summative, retrospektive Bewertung in den Vordergrund, fragt also nach dem zählbaren Ertrag von Bildungsprozessen. Die Studie von Pinheiro-Cadd (2018), in der die Auswirkungen einer grundlegenden Reform der Fremdsprachenausbildung an einer US-amerikanischen Universität anhand von Einschreibezahlen und erreichten Noten analysiert werden, ist hierfür ein anschauliches Beispiel. Der diagnostische Ansatz kann zugleich auf Theoriebildungsprozesse zielen, indem Aussagen über den Effekt bestimmter Maßnahmen (z.B. didaktischer Konzepte) getroffen werden. Zu diesem Zweck werden auf der Grundlage eines (quasi)experimentellen Designs komplexe Wirkungsmechanismen auf wenige Faktoren reduziert und ausgewählte Variablen nach Kausalzusammenhängen untersucht. Ein prototypisches Beispiel aus dem Bereich der Fremdsprachenforschung liefern Klapper/Rees (2003) mit ihrer Studie zum Grammatikerwerb bei variierenden Unterrichtsbedingungen.

Der explorative Ansatz hingegen trägt eher Züge einer formativen Evaluation. Die Lehr- und Lernprozesse im Programm begleitend sollen dessen Stärken und Schwächen aufgedeckt und Ansatzpunkte für Verbesserungen identifiziert werden (vgl. Scriven 1991:159; Stockmann/Meyer 2014:111ff).

Unbestritten ist natürlich, dass es der messbaren Erträge aus diagnostischen Evaluationen bedarf, um die Qualität eines Programms einschätzen zu können (vgl. Gräsel/Parchmann 2004; Helmke 2009). Doch gerade Bildungsziele, die sich auf die Persönlichkeitsentwicklung von Lernenden beziehen, volitionale Aspekte des Lernens ebenso berühren wie soziale, widersetzen sich einem Ursache-Wirkung-Denken und können nur langfristig und multiperspektivisch auf ihren Erfolg hin untersucht werden. Das diagnostische Modell von Evaluation tendiert hingegen dazu, Unterricht auf einen technologischen Akt zu reduzieren, der sich auf den Transfer von vermeintlich gesichertem Wissen oder von Kompetenzen richtet (vgl. die Kritik bei Schön 1983) und sich durch strukturelle Veränderungen steuern lässt. Dabei gerät leicht aus dem Blick, dass sich Bildungsprozesse vor allem durch die Komplexität des Geschehens auszeichnen, durch Widersprüche und Antinomien3. In den Hintergrund tritt die soziale Dimension von Unterricht, die Tatsache also, dass in pädagogischen Programmen Individuen mit ihren je eigenen Persönlichkeiten, Verhaltensweisen, Erwartungen und Interessen zusammenfinden. Im Miteinander bilden sich Beziehungen heraus, gemeinsame Routinen oder Rituale, die Breen (1985:142) als Kultur des Klassenraums beschrieben hat. Dieser besondere Charakter von Bildungsprozessen macht es nicht nur Lehrkräften unmöglich, Unterricht detailliert zu planen. Er erschwert es auch Forschenden erheblich, kausale Beziehungen in Lehr- und Lernprozessen aufzudecken.

Für die Evaluation von Programmen führen diese Überlegungen zu entscheidenden methodologischen und methodischen Konsequenzen: Da eine Fixierung auf ausgewählte Erträge und Ursache-Wirkungs-Zusammenhänge die Sicht auf die Vielfalt möglicher Faktoren verstellt, die den Programmalltag bestimmen, muss sie sich auch als ein „heuristisches Experiment von Forschung und Unterrichtspraxis“ (Heiner 1998:25) verstehen. Und genau diese Perspektive wird durch den explorativen Ansatz von Evaluation gestärkt; von Graves (2008:173) auch als illuminative evaluation bezeichnet. Er will nicht nur einzelne Erträge eines Programms beschreiben, sondern zugleich den Prozessen ihres Zustandekommens näherkommen (Wholey 2015).

Das Gelingen und Misslingen praktischen Handelns in sozialen Kontexten soll in seiner Vielschichtigkeit verstanden werden. Der explorative Ansatz beschränkt sich also nicht darauf zu untersuchen, was die Beteiligten zu einem bestimmten Zeitpunkt können oder wissen. Er schließt beispielsweise ebenso die Frage ein, wie sie selbst das Geschehen erleben und deuten. Und er lenkt die Aufmerksamkeit auf die im Programm ablaufenden Prozesse – etwa die Interaktion im Unterricht, die Veränderung von Einstellungen und Beziehungen oder die Etablierung von Handlungsmustern. Van Lier (2004) bezeichnet diesen umfassenden Blick auf die in Bildungsprogrammen wirkende Faktorenvielfalt als „ökologische Perspektive“. Ein Konzept, das sich in der Fremdsprachendidaktik in den letzten beiden Jahrzehnten als sehr inspirierend erwiesen hat.4 Explorative Evaluationen stellen eine Möglichkeit dar, eine solche ökologische Perspektive in konkretes Forschungshandeln zu übersetzen und damit die Weiterentwicklung eines einzelnen Programms in einem bestimmten zeitlichen und lokalen Kontext voranzutreiben.

Wie Beywl (2006) ausführlich diskutiert, kommt der Stellung der Werte im Gesamtkonzept von Evaluationen eine besondere Bedeutung zu. Der diagnostische Ansatz strebt in diesem Sinne nach Wertneutralität, liegt doch der Schwerpunkt auf der Gewinnung möglichst objektiver Informationen über das zu untersuchende Programm. Der explorative Ansatz dagegen bezieht den „personalen Faktor“ (Patton 2014) ein und muss mit Beywl (2006) als „wertpriorisierend“ bzw. „wertpositioniert“ bezeichnet werden. Er ist dadurch charakterisiert, dass die Entscheidung über die zu untersuchenden Gegenstände und Fragestellungen auf einem Aushandlungsprozess zwischen den beteiligten Personen (Stakeholdern) beruht. Deren pädagogische Wertvorstellungen prägen somit den Verlauf der Evaluation entscheidend mit. Gemeinsam wird zunächst geklärt, welche Aspekte des Programms untersuchungswürdig sind. Für den Bereich der Fremdsprachenforschung bieten die Studien von Towell/Tomlinson (1999) oder Yang (2009) anschauliche Beispiele für ein solches Vorgehen.

Wenn aber die unmittelbar involvierten Lehrenden selbst als Initiatoren der Evaluation auftreten, wie es auch in der vorliegenden Studie der Fall ist, stehen sie beständig vor der Herausforderung, eine „dialektische Bewegung zwischen Engagement und Distanzierung“ (Kardoff 2006:87) bewältigen zu müssen. In diesem Punkt weist die Evaluationsforschung deutliche Parallelen mit der Aktionsforschung auf. Um angesichts dieser Schwierigkeit nicht in eine „publikumswirksame Selbstprofilierung“ (Schnell/Kopp 2001:32) abzugleiten oder ihrer „Betriebsblindheit“ (Stockmann/Meyer 2014:88) zu erliegen, sind verschiedene Gegenmaßnahmen erforderlich.

Zum ersten kann es hilfreich sein, externe bzw. nicht unmittelbar mit dem Untersuchungsgegenstand befasste Forschende einzubeziehen, wie wir es auch in dieser Studie praktizieren.5 Zum zweiten sollte ein hoher Grad an Transparenz angestrebt werden. Mit unserer Projektseite versuchen wir, diesem Anspruch gerecht zu werden. Sie ermöglicht es, alle Forschungsinstrumente und Daten einzusehen und lädt ausdrücklich dazu ein, die Ergebnisse der Analysen nachzuvollziehen und zu hinterfragen. Zum dritten schließlich halte ich es für unabdingbar, die auf die Evaluation einwirkenden Wertvorstellungen zu thematisieren und damit der reflektierten Subjektivität als einem Kernkriterium für die Güte empirischer Forschung (Steinke 2008) nachzukommen. Die eigene Rolle im Forschungsprozess und das persönliche Verhältnis zum untersuchten Gegenstand sind daher Punkte, auf die ich immer wieder zurückkommen werde.