Hans Brunner - Leitfaden zur Bachelor- und Masterarbeit

Ein weiteres Konzept bildet Validierung durch Triangulation (siehe Kapitel 3.3). Beim Einsatz mehrerer Methoden kommt auch der Handlungsvalidierung Bedeutung zu. Dabei wird beispielsweise geprüft, inwieweit ein nachweisbarer Zusammenhang besteht zwischen berichteten Erfahrungen (eine Lehrperson beschreibt in einem Interview, wie sie mit Verhaltensauffälligkeiten von Schülerinnen und Schülern im Unterricht umgeht) und beobachtetem Verhalten (Realgeltung: Verhalten der interviewten Lehrperson bei Verhaltensauffälligkeiten von Schülerinnen und Schülern im Unterricht). Das wichtigste Kriterium, so Bortz und Döring (2006, S. 328), „ist jedoch die interpersonale Konsensbildung (konsensuelle Validierung) [sic]. Können sich mehrere Personen [z. B. andere Forschende und/oder Expertinnen und Experten] auf die Glaubwürdigkeit und den Bedeutungsgehalt des Materials einigen, gilt dies als Indiz für seine Validität.“

Reliabilität (Zuverlässigkeit)

Wie zuverlässig und beständig das Ergebnis einer Untersuchung ist bzw. wie zuverlässig und beständig mit einem Erhebungsinstrument ein Konstrukt gemessen wird, ist eine Frage der Reliabilität. Unter der Annahme, dass in einer Untersuchung zeitstabile Merkmale 3gemessen werden, kann dann von einer reliablen Messung gesprochen werden, wenn zu einem anderen Zeitpunkt, unter denselben Bedingungen mit den gleichen Testpersonen dieselben Ergebnisse erzielt werden. Da bei jeder Erhebung Messfehler passieren (durch unsystematische, zufällige Einflüsse wie Störungen in der Testsituation oder Müdigkeit der befragten Person), werden bei einer Messwiederholung die Ergebnisse nicht exakt dieselben sein, sie müssen aber sehr ähnlich bzw. stabil sein. Das Maß der Übereinstimmung wird bei den meisten Verfahren der Reliabilitätsprüfung durch die Berechnung eines Korrelationskoeffizienten bestimmt. Verfahren, die angewendet werden, um die Reliabilität einer Messung bzw. eines Erhebungsinstruments zu prüfen sind beispielsweise:

• Retest-Reliabilität: Die wiederholte Durchführung derselben Messung unter denselben Bedingungen bei denselben Personen führt zu denselben Ergebnissen. Ein Lesekompetenztest hat eine hohe Reliabilität, wenn im Rahmen einer nach zwei Wochen stattfindenden Testwiederholung bei gleichbleibenden Bedingungen die erneut getesteten Personen dasselbe Kompetenzniveau erreichen (Lesekompetenz ist ein stabiles Konstrukt, das sich nicht innerhalb von zwei Wochen verändert). Das Verfahren der Testwiederholung lässt sich allerdings in qualitativen Forschungsmethoden nicht anwenden, das Führen eines teil- bzw. unstrukturierten Interviews oder der Beobachtung einer Unterrichtsstunde ist auf identische Weise nicht wiederholbar. Überträgt man bei qualitativen Herangehensweisen den Gedanken des Retests auf das Interpretieren von Daten, so sollten wiederholte Interpretationen von qualitativen Daten zu einem gleichen Ergebnis führen (Brühl & Buch, 2006, S. 26).

• Interrater-Reliabilität: Zwei oder mehrere Forscher/innen setzen dasselbe Instrument (z. B. einen standardisierten Beobachtungsbogen) für dieselbe Erhebung bzw. bei demselben Untersuchungsgegenstand ein. Sind die Einschätzungsergebnisse (Urteilsübereinstimmung) gleich bzw. sehr ähnlich, ist die Reliabilität des Erhebungsinstruments hoch.

Beispiel

Zur Analyse und Bewertung von wissenschaftlichen Postern, die Studierende im Rahmen eines Forschungsmoduls präsentieren, wurde ein Instrument entwickelt. In einer Pilotphase wurden von jedem Mitglied der Forschergruppe dieselben 20 zufällig ausgewählte Poster mit Hilfe des Instruments ausgewertet. Anschließend wurde die Urteilsübereinstimmung durch die Berechnung der Interrater-Korrelation geprüft (Stadler-Altmann, 2020, S. 390).

• Paralleltest-Methode: Probanden werden zwei verschiedene aber streng vergleichbare Tests vorgelegt. Eine hohe Reliabilität ist gegeben, wenn bei beiden Tests die Probanden dasselbe Ergebnis erzielen.

Beispiel

Im Rahmen der Entwicklung des „Innsbrucker Lesediagnostikums für Berufsschüler/innen“ (Resinger, 2018) wurde neben anderen Verfahren der Reliabilitätsprüfung auch die Paralleltest-Methode angewandt. Der Innsbrucker Lesekompetenztest misst geringe Fähigkeitsausprägungen in der Lesekompetenz von Berufsschüler/innen der ersten Klasse, das „Salzburger Lesescreening für die Schulstufen 2–9“ (Mayringer & Wimmer, 2014) identifiziert Schüler/innen mit Schwächen in basaler Lesefertigkeit. Bei einer Gruppe von Berufsschüler/innen wurden beide Tests nacheinander eingesetzt. Es wurde eine hohe Übereinstimmung festgestellt.

Zusammenfassend gilt für Studierende, die eine Bachelor-/Masterarbeit schreiben, dass sie sich vor allem an den Gütekriterien „Objektivität“ und „Validität“ unter den hier diskutierten Gesichtspunkten „Durchführungs- und Auswertungsobjektivität“, „Inhaltsvalidität“, „Vertrauenswürdigkeit“ und „Glaubwürdigkeit“ orientieren. In der Diskussion um Gütekriterien in der empirischen Forschung werden diese Qualitätskriterien auch in der Aktionsforschung (berufsfeldbezogenen Forschung) als relevant erachtet (Reitinger & Ukowitz, 2014, S. 183).

3.6 Auswahl von Forschungsmethoden

Ein Forschungsinstrument soll nicht willkürlich ausgewählt und eingesetzt werden. Jede Methode hat Vor- und Nachteile und ist in Bezug auf den Anwendungsbereich in ihrer Einsatzfähigkeit beschränkt (Engler, 1997, S. 123–126). Vor der Wahl der Forschungsmethode ist es daher ratsam, einige Fragen zu klären. Die kritische Auseinandersetzung mit folgenden Punkten kann hilfreich sein, die passende Methode zu finden:

Ziel: Was soll erhoben werden? Diese Frage hängt aufs Engste mit der Forschungsfrage der Bachelor-/Masterarbeit zusammen. Mit welcher wissenschaftlichen Methode lässt sich die Forschungsfrage am besten beantworten? Ist es von Interesse, welche Einstellungen oder welche Meinungen eine Personengruppe zu einem bestimmten Thema hat, dann empfiehlt sich die Methode der schriftlichen Befragung. Wenn es darum geht, zu untersuchen, wie sich die Einführung neuer Verhaltensregeln auf das soziale Leben in der Schule auswirkt, dann ist eine Beobachtung sinnvoll.

Tragweite: Unter Tragweite ist gemeint, dass im Vorfeld abzuwägen ist, welche Auswirkungen im sozialen Umfeld aufgrund des Einsatzes einer bestimmten Methode zu erwarten sind. Unterrichtsbeobachtungen können z. B. den Unterricht stören. Zur kritischen Reflexion der Tragweite gehört auch, im Vorfeld zu klären, wer Zugang zu den erhobenen Daten haben wird bzw. wie diese Daten verwendet werden (z. B. für die Unterrichtsentwicklung). Es ist zu bedenken, dass die Ergebnisse auch missbräuchlich verwendet werden können (siehe dazu auch Kapitel 3.7). Des Weiteren können unbeabsichtigte Folgen auftreten: Die schriftliche Befragung im Rahmen eines Schulentwicklungsprojekts zur Zufriedenheit mit der Schulleitung wurde von einigen Befragten zum Anlass genommen, die sprichwörtlichen „Leichen aus dem Keller zu holen“

Machbarkeit: Ist eine Methode unter den gegebenen Rahmenbedingungen einsetzbar? Fragen, die in diesem Zusammenhang eventuell gestellt werden müssen: Habe ich genügend Personen, die sich an der Untersuchung beteiligen wollen? Kann ich die Untersuchung allein durchführen? Wie sieht die zeitliche Begrenzung aus, d. h. bis wann muss das Forschungsvorhaben abgeschlossen sein?

Zumutbarkeit: Vor allem in zeitlicher Hinsicht ist zu klären, ob die Teilnehmer/innen an einem Forschungsprojekt unter den gegebenen Rahmenbedingungen nicht über Gebühr belastet werden. Bei sensiblen Themen ist sorgfältig abzuwägen, ob der Einsatz eines Erhebungsinstruments in psychischer sowie körperlicher Hinsicht zugemutet werden kann (z. B. mündliche Befragung von Mobbingopfern).

Ökonomie: Reichen die zeitlichen Ressourcen und ggf. die finanziellen Mittel aus? Steht der Aufwand mit dem zu erwartenden Ergebnis in einem ausgewogenen Verhältnis? Bei der Durchführung einer Erhebung im Feld muss der/die Studierende vor Ort sein. Dabei ist nicht nur der zeitliche Aufwand für die Durchführung und Ergebnisrückmeldung zu berücksichtigen, sondern es müssen z. B. auch Fahrzeiten, Fahrtkosten, Leerläufe (z. B. das zu beobachtende Kind ist abwesend), Kosten für das Testmaterial bzw. das Befragungsinstrument oder Lizenzgebühren für statistische Softwareprogramme etc. einkalkuliert werden.