Forschungsmethoden in der Fremdsprachendidaktik

Grundsätzlich unterscheiden sich die Gütekriterien in quantitativen und qualitativen Forschungsansätzen (vgl. Kap. 3.3). Als zentrale Kriterien quantitativer Forschung (vgl. im Folgenden Edmondson/House 2010: 39–40, Grotjahn 2003, Schmelter 2014) gelten Objektivität, Reliabilität und Validität. Unter ObjektivitätObjektivität versteht man die Intersubjektivität einer Methode, d. h. die Unabhängigkeit der Ergebnisse von den Forscher*innen, die die Untersuchung durchgeführt haben. Dabei unterscheidet man anhand der einzelnen Forschungsschritte Durchführungs-, Auswertungs- und Interpretationsobjektivität. Detaillierte Vorschriften sollen dafür sorgen, dass sowohl der Einfluss der Untersuchung auf die Untersuchungsteilnehmer*innen als auch der Einfluss der Forscher*innen auf die Untersuchung kontrolliert und möglichst geringgehalten wird. Eng mit dem Kriterium der Objektivität zusammen hängt das Kriterium der Zuverlässigkeit (ReliabilitätReliabilität). Es misst die Genauigkeit des Datenerhebungs- bzw. Messvorgangs und gibt den Grad der Verlässlichkeit der Ergebnisse an. Für ein hochreliables Ergebnis müssen bei einer Wiederholung der Untersuchung unter gleichen Bedingungen die gleichen Ergebnisse erzielt werden (Replizierbarkeit der Messergebnisse). Reliabilität umfasst drei Aspekte: die Stabilität (die Übereinstimmung der Messergebnisse zu unterschiedlichen Zeitpunkten), die Konsistenz (das Maß, mit dem die zu einem Merkmal gehörenden Items dasselbe Merkmal messen) und die Äquivalenz (die Gleichwertigkeit von Messungen, wenn z.B. durch das Wiederholen eines Tests ein Lerneffekt eintritt).

Objektivität und Reliabilität der Methoden bestimmen die ValiditätValidität, d. h. die Gültigkeit einer Variable, eines Messverfahrens bzw. der erzielten Ergebnisse. Sie bestimmt das Maß ihrer Übereinstimmung mit dem untersuchten Realitätsausschnitt. Man unterscheidet in Bezug auf Untersuchungsverfahren zum einen innere bzw. interne Validität (das Maß, in dem ein Forschungsverfahren tatsächlich das erfasst oder misst, was es erfassen oder messen soll, und nicht z.B. durch andere Einflüsse wie z.B. Störvariablen oder systematische Messfehler beeinträchtigt wird). Hierbei unterscheidet man insbesondere die Inhaltsvalidität (die Eignung eines Verfahrens für die Erfassung bzw. Messung des Konstruktes), die Kriteriumsvalidität (die Übereinstimmung der gemessenen Ergebnisse mit einem empirischen Kriterium, z.B. den Ergebnissen, die mit einem anderen Verfahren gewonnen wurden) und die Konstruktvalidität (die Zuverlässigkeit der Ergebnisse bezüglich des gesamten untersuchten Konstruktes und nicht nur einzelner Aspekte des Konstruktes).

Zum anderen bestimmt man die externe ValiditätValidität, d. h. die Möglichkeit der Übertragung der Ergebnisse über die jeweilige Stichprobe und Situation der konkreten Untersuchung hinaus (Möglichkeit der Verallgemeinerung, Repräsentativität). Grundsätzlich ist eine hohe Reliabilität eine Voraussetzung für hohe Validität, allerdings kann sich eine zu hohe Reliabilität negativ auf die Validität auswirken, weil dann nur sehr enge Konstrukte erfasst werden können.

Während Studien mit einem quantitativen Forschungsansatz das Forschungsfeld und die Forschungsgegenstände aus einer distanzierten Außenperspektive betrachten, setzt sich qualitative Forschung das Ziel, die Untersuchungsgegenstände soweit es geht aus der Innenperspektive der Beteiligten zu erforschen (s. Abschnitt 1 und Kap. 3.3). Diese Forschung verlangt daher andere Gütekriterien (vgl. im Folgenden Flick 1995 und 2020; Schmelter 2014; Steinke 1999). Ein Teil dieser Kriterien stellt eine Um- oder Neudefinition der aufgeführten Gütekriterien quantitativer Forschung dar, dazu kommen spezifische Kriterien qualitativer Forschung.

Das Kriterium der Objektivität ist nicht vereinbar mit der Subjektivität der Forschungsbeteiligten, der Notwendigkeit ihrer Interaktion und der Anwendung interpretativer Auswertungsverfahren; zudem widerspricht es zentralen Charakteristika qualitativer Forschung wie z.B. den Prinzipien der Gegenstandsentfaltung, der Offenheit, der Alltagsorientierung und der Kontextualität. Als Äquivalenzkriterium führt Steinke (1999: 143) das Kriterium der Intersubjektiven Nachvollziehbarkeitintersubjektive Nachvollziehbarkeit ein, für das die genaue Dokumentation und Reflexion der Forschungsentscheidungen und der einzelnen Forschungsschritte Voraussetzung ist. Auch das Kriterium der Reliabilität ist nicht direkt auf qualitative Forschung übertragbar, u.a. weil weder eine Standardisierung der Erhebungssituation noch eine vorgängige exakte Bestimmung und Operationalisierung des Untersuchungsgegenstandes möglich bzw. sinnvoll sind, auch ist das Untersuchungsphänomen in den meisten Fällen nicht ausreichend stabil. Stattdessen schlägt Flick (1995: 242) die Prüfung der Verlässlichkeit von Daten und Vorgehensweisen vor, für die u.a. die konsequente Dokumentation des Forschungsprozesses notwendig ist.

Daneben werden auch Verfahren der Reliabilitätsprüfung aus quantitativen Forschungsansätzen auf qualitative Designs übertragen, wenn z.B. zwei Forscher*innen die gleichen Texte kodieren und ihre unterschiedlichen Deutungen diskutieren ( Inter-Coder -Reliabilität).

Das Kriterium der ValiditätValidität wird für qualitative Forschungsansätze dagegen teilweise übernommen und in Bezug auf den Auswertungs- und Interpretationsprozess hin erweitert. Validierung wird verstanden als – zumeist kommunikativer – Prozess, in dem das Zustandekommen der Daten, die Darstellung der Phänomene und die daraus abgeleiteten Schlüsse auf systematische Verzerrungen oder Täuschungen hin untersucht werden (Flick 1995: 244–245). Die zentrale Frage lautet, „inwieweit die Konstruktionen des Forschers in den Konstruktionen derjenigen, die er untersucht hat, begründet sind (…) und inwieweit für andere diese Begründungen nachvollziehbar sind“ (Flick 1995: 244). Ein Verfahren der Validitätsprüfung ist die Triangulation (s. Kap. 4.4), die jedoch nicht primär auf die Bestätigung der Ergebnisse und damit auf die Gewinnung eines einheitlichen Gesamtbildes abzielt, sondern auf ergänzende und vertiefende Perspektiven.

Neben den drei genannten gelten als weitere wichtige Kriterien qualitativer Forschung Offenheit (gegenüber dem Forschungsfeld und gegenüber unerwarteten Ergebnissen), Flexibilität (angesichts gewachsener Erkenntnisse oder als Reaktion auf Unerwartetes), die Darlegung des Vorverständnisses, die Reflexion der Rolle der Forscher*in, die Indikation des Forschungsprozesses und der Bewertungskriterien (d. h. die Prüfung, ob die getroffenen methodischen Entscheidungen angemessen gewählt worden waren) sowie die empirische Verankerung der Theoriebildung (die Theoriebildung erfolgt dicht an den Daten). Obwohl mit qualitativen Untersuchungen keine Generalisierung angestrebt werden kann, ist zu prüfen, wie weit die gewonnenen Ergebnisse über den Untersuchungskontext hinaus GültigkeitGültigkeit beanspruchen können (Kriterium der Limitation bzw. Reichweite). Im Unterschied zu den Gütekriterien in quantitativen Forschungsansätzen zielen die Kriterien in qualitativen Forschungsansätzen weniger auf Kontrolle, sondern auf Vertrauenswürdigkeit, Glaubwürdigkeit und Verlässlichkeit.

Wichtige Gütekriterien für beide Ansätze sind die Offenlegung des Gegenstandsverständnisses (es bildet die Grundlage für die Beurteilung der Angemessenheit des gewählten Ansatzes und der eingesetzten Methoden) sowie die theoretische und praktische Relevanz der Fragestellung und der Forschungsergebnisse (es muss z.B. deutlich erkennbar sein, an welchen Theorien und Ergebnissen die Untersuchung anknüpft, welche Praxisaspekte sie aufgreift sowie welche neuen Deutungen oder Erklärungen für die untersuchten Phänomene sie bereitstellt und welches Innovationspotential sie enthält). Darüber hinaus müssen jeweils ethische Standards eingehalten werden (s. Kap. 4.6). Die zentralen Gütekriterien sind in jedem Fall die GegenstandsangemessenheitGegenstandsangemessenheit der gewählten Ansätze und Verfahren für die Bearbeitung der Forschungsfrage und, darüber hinaus, die Passung, d. h. das sinnvolle Zusammenwirken der einzelnen Elemente und Entscheidungen innerhalb der Forschungsarbeit: zum einen Passung von Gegenstand, Fragestellung, Zielsetzung, Relevanz untereinander, zum anderen Passung von Forschungstradition, Forschungskonzept bzw. -design und Verfahren untereinander sowie die unerlässliche Passung beider Stränge.