Die Diskussion zur Rolle der Werte zeigt, dass Evaluationen – ebenso wie die Gestaltung von Curricula – als politische Prozesse verstanden werden müssen, in denen normative Überzeugungen miteinander ringen. Aber gerade aus diesen Aushandlungsprozessen kann ein besonderer Mehrwert von Evaluationen für eine Institution erwachsen. Denn die gemeinsame Verständigung darüber, welche Kriterien bei der Bewertung einzelner Aspekte des Kurses herangezogen werden sollten, kann entscheidend zu einem Klima der Offenheit und Zusammenarbeit beitragen. Patton (2008) sieht in diesem „Prozessnutzen“ sogar einen der wesentlichen Effekte: Evaluativ zu denken, sich dabei der eigenen Werte bewusst zu werden und diese mit anderen zu diskutieren, hält er für eine notwendige Alternative zur verbreiteten „Outcome-Manie“ wertdistanzierter Evaluationen, bei der die normativen Grundlagen häufig hinter vermeintlich objektiven Leistungsmaßen versteckt würden.
Aber auch Patton möchte keineswegs auf die Erkenntnisse aus bewertenden, summativen Evaluationen verzichten. In seinem Modell einer „nutzenfokussierten Evaluation“ finden der diagnostische Ansatz und der explorative Ansatz in einer Synthese zusammen. Nach diesem Verständnis, das auch für die vorliegende Studie richtungsweisend ist, schließen sich die Beschreibung der Effektivität eines Programms und das Verstehen des Geschehens vor Ort mit seinen unterschiedlichen Einflussfaktoren nicht aus (vgl. auch Kiely 2009:32ff).
Somit steht der Begriff der Evaluation hier für einen Forschungsprozess, mit dessen Hilfe Informationen über die Struktur von Programmen und die Merkmale der in ihrem Rahmen ablaufenden alltäglichen Praxis gewonnen werden, über die Erträge und Auswirkungen des Unterrichts und nicht zuletzt über die Wahrnehmung des Geschehens durch die Beteiligten.
Tabelle 2.1 gibt einen Überblick über die Vielfalt an Kriterien, die sich diesem umfassenden Ansatz von Evaluation zufolge anbieten, um die Qualität eines Programms zu beschreiben. Anhand dieser Tabelle möchte ich die Forschungsschwerpunkte verdeutlichen, die wir für die vorliegende Studie gewählt haben.
Kriterien |
Unterkriterien |
Beispiele für zu untersuchende Aspekte |
Strukturqualität |
organisatorische Rahmenbedingungen |
Klassengröße, Anzahl der Unterrichtsstunden, Prinzipien des Personaleinsatzes |
Management und Qualitätssicherung |
Grundsätze der Curriculumgestaltung, Lehrmethoden und -materialien, Führungssystem, Konzepte der Evaluation, Entwicklung und Dokumentation |
Prozessqualität |
Lernkultur/ Lernklima |
Unterrichtsdesign, Leistungsanforderungen, Umgang miteinander, Kurs als Lebensraum, Formen der Beteiligung |
Lernprozesse |
Interaktionsprozesse im Unterricht, Sprechanteile von Lehrenden und Lernenden, Aufgabenverteilung im Unterricht, Gestaltung der Lernzeit außerhalb des Unterrichts |
Professionalität der Lehrenden |
berufliches Selbstverständnis, Verhalten gegenüber den Studierenden, Qualifikationsprofil, Fortbildung |
Ergebnisqualität |
Lernergebnisse |
Arbeitsergebnisse der Lernenden, Fähigkeiten, Niveaustufen, Schlüsselqualifikationen, Abschlüsse/ Qualifikationen |
Entwicklungsprozesse |
Zufriedenheit, Persönlichkeitsbildung/ Selbstkompetenz, Engagement |
Auswirkungen |
Fluktuation/ Abbrecherquote, Vermittelbarkeit, Karrierewege |
Tab. 2.1:
Aspekte von Qualität bei der Evaluation von Bildungsprogrammen (nach Ernst 2006:194; siehe auch Noris 2016:177; Scriven 1991:277ff; Rindermann 1996:241ff).
Zunächst erscheint es an dieser Stelle wichtig, noch einmal darauf zu verweisen, dass nicht das Intensivprogramm für Deutschlandstudien an der Juristischen Fakultät der Keio Universität Tokio in seiner Gesamtheit den Gegenstand der Untersuchung bildet. Im Fokus liegt vielmehr einer der Grundstufenkurse. Er wird jedes Jahr für Studierende des ersten Studienjahres angeboten und zeichnet sich durch seine konsequente Ausrichtung an den Prinzipien des fach- und sprachintegrierten und zugleich aufgabenbasierten Lernens aus. Es handelt sich also um eine, sich über zwei Semester erstreckende Abfolge von Unterrichtseinheiten, die hier als kohärentes Ganzes gesehen wird (vgl. Graves 2008:149), auch wenn der Kurs selbst wiederum in einem größeren curricularen Rahmen eingebunden ist (ausführlicher dazu Kap. 2.3).
Wie ich bereits weiter oben darstellte, geht es uns bei der vorliegenden Studie nicht um die Frage, ob dieses fach- und sprachintegrierte Konzept für die Grundstufe funktioniert. Dem Erkenntnisinteresse von nutzenorientierten Evaluationen folgend, wollten wir vielmehr wissen, was genau funktioniert, in welcher Weise, mit welchen Konsequenzen und warum – oder auch warum nicht (vgl. Patton 2014:48). Die Prozessqualität und die Ergebnisqualität liegen somit im Zentrum der Aufmerksamkeit.
An Tabelle 2.1 lässt sich jedoch leicht ablesen, dass wir angesichts der Vielzahl von Aspekten, die sich für eine Untersuchung anbieten, eine Auswahl treffen mussten. Die Studie wird sich daher hinsichtlich der Prozessqualität auf die Interaktion im Unterricht und auf die Lernkultur konzentrieren. Bei der Ergebnisqualität liegt die Aufmerksamkeit zum einen auf der Entwicklung der Lernersprache und zum anderen auf den Veränderungen der Selbstwahrnehmung der Lernenden, ihrer Einstellung zum Fremdsprachenlernen und ihren weiteren Lernwegen im Gesamtprogramm. Auch der Aspekt der Strukturqualität wird zur Sprache kommen, allerdings nicht als Gegenstand einer empirischen Analyse. Kap. 2.3 widmet sich in deskriptiver Form dem curricularen Rahmen und den Grundsätzen der Unterrichtsgestaltung im untersuchten Kurs.
2.2.6 Zwischenbetrachtung
Nach der ausführlichen Darstellung der unterschiedlichen Forschungsperspektiven, die in dieser Studie verknüpft werden, bietet sich an dieser Stelle ein kurzes Zwischenfazit an. Als eine erste Konsequenz aus den bisherigen Überlegungen zum Forschungsdesign lässt sich festhalten, dass wir uns an den Grenzlinien mehrerer Forschungsansätze bewegen. Aber was bedeutet das konkret für die Anlage der Studie? Aus der Aktionsforschung fließt in dieses Projekt neben den ursprünglichen Beweggründen für das Forschungsvorhaben (siehe Kap. 2.2.1) vor allem die Erkenntnis ein, dass es bedeutsam ist, mein eigenes Selbstverständnis als forschender Lehrer, meine persönliche Einbindung in das Projekt und meine Beziehung zum Gegenstand zu thematisieren.
Die Entwicklungsorientierte Forschung lenkt die Aufmerksamkeit auf die theoriegeleitete Konzeption des untersuchten Kurses. Zugleich verweist sie aber auch auf eine wichtige Zielsetzung dieses Projektes: Es will nicht nur im Sinne der Aktionsforschung konkrete Praxis verbessern, sondern strebt auch danach, einen Beitrag zur Generierung neuen theoretischen Wissens zu leisten. Die Ergebnisse unserer Analysen sollen also über den lokalen Kontext hinausweisen und damit die Entwicklung des fach- und sprachintegrierten Unterrichts im tertiären Bereich voranbringen.
Und auf die Evaluationsforschung schließlich geht der multiperspektivische Ansatz zurück, unser Bemühen also, dem Facettenreichtum von Lehr- und Lernprozessen gerecht zu werden. Die Studie bringt Forschende zusammen, die zu einem unterschiedlichen Grad in den untersuchten Kurs eingebunden sind und ihre je eigene Sicht auf das Geschehen beisteuern. Das wiederum führt zu einer in der Fremdsprachenforschung eher selten anzutreffenden Synthese: einerseits von unterschiedlichen Definitionen des Untersuchungsgegenstandes, vor allem dem Verständnis dessen, was Lernen oder Interaktion ausmachen; andererseits den sich daraus ergebenden Methoden der Datenerhebung, -aufbereitung und -analyse. Diese Art von Grenzgängen wird der folgende Abschnitt betrachten.
Читать дальше