Hans Brunner - Leitfaden zur Bachelor- und Masterarbeit

Merkmale, die Meinungen, Einschätzungen und Einstellungen erheben sind einer ständigen Dynamik unterworfen, stimmungs- und situationsbedingte Einflussfaktoren spielen eine wesentliche Rolle. Die Ergebnisse sind daher als Momentaufnahmen zu betrachten.

3.5 Gütekriterien empirischer Forschung

Die Wissenschaftlichkeit empirischer Forschung, die Güte eines Forschungsprojekts, wird anhand von drei Gütekriterien geprüft: Objektivität, Validität und Reliabilität. Die Auslegung der drei Gütekriterien variiert in Abhängigkeit vom Forschungszugang und dem zugrundeliegenden Forschungsparadigma. Zusätzlich werden jeweils ergänzende Gütekriterien, sogenannte Nebengütekritieren, definiert (zur Beurteilung der Güte von psychologischen Testverfahren etwa das Kriterium „Testfairness„). Für die Güte von Aktionsforschung (berufsfeldbezogene Forschung) nennen Altrichter et al. (2018, S. 107–108.) ergänzend „Pragmatische Kriterien“ (praktische und zeitökonomische Verträglichkeit mit dem Unterricht und der beruflichen Situation von Lehrpersonen) und „Ethische Kriterien“ (Vereinbarkeit mit den pädagogischen Zielen und den Grundsätzen humaner Interaktion). Im Folgenden werden die zentralen Gütekriterien Objektivität, Validität und Reliabilität vorgestellt. Dabei wird auf die unterschiedlichen Zugänge der quantitativen und qualitativen Forschung eingegangen und herausgearbeitet, was die Gütekriterien für Studierende, die eine Bachelor-/Masterarbeit schreiben, bedeuten.

Objektivität

Geht man vom Objektivitätsbegriff im quantitativen Forschungsansatz aus, dann ist unter Objektivität die Unabhängigkeit eines Forschungsergebnisses von der Person der Forscherin/des Forschers zu verstehen:

Objektivität ist das Ausmaß, in dem ein Untersuchungsergebnis in Durchführung, Auswertung und Interpretation vom Untersuchungsleiter nicht beeinflusst werden kann, bzw. wenn mehrere zu übereinstimmenden Ergebnissen kommen. Weder bei der Durchführung noch bei der Auswertung und Interpretation dürfen also verschiedene Experten verschiedene Ergebnisse erzielen. (Stangl, o. D., Abs. 2)

Bortz und Döring (2006, S. 32) sprechen im Zusammenhang von Objektivität von „intersubjektiver Nachvollziehbarkeit“, die „eine Standardisierung des Vorgehens durch methodische Regeln […] und die vollständige Dokumentation von Untersuchungen“ voraussetzt. Im Sinne einer weiteren Differenzierung wird zwischen der Durchführungs-, Auswertungs- und Interpretationsobjektivität unterschieden.

Durchführungsobjektivität bezieht sich zum einen auf das Verhalten der Forscherin/des Forschers während der Erhebungsphase und zum anderen auf den Grad der Standardisierung sowie der Güte der Dokumentation. Durchführungsobjektivität in einem Forschungsprozess ist dann gegeben, wenn die Durchführung einer Untersuchung

• nicht beeinflusst wird. Dieses Ideal ist zwar anzustreben, aber aufgrund von Störfaktoren (z. B. die Tagesverfassung der Forscherin bei der Durchführung einer Erhebung oder personenunabhängige Störfaktoren wie der Pausenlärm während eines Interviews) nicht absolut erreichbar.

• standardisiert ist (z. B. durch eine standardisierte Testinstruktion oder Einleitung in ein Interview) und

• nachvollziehbar dokumentiert wurde (Offenlegung und Begründung des Untersuchungsdesigns, Dokumentation der einzelnen Untersuchungsschritte etc.).

Eine Standardisierung ist zu erreichen, indem z. B. vorher genau festgelegt wird, was einem Probanden vor Durchführung eines Tests gesagt wird, wie viel Zeit jemandem für die Beantwortung eines Fragebogens zur Verfügung steht etc. Je exakter der Verlauf einer Erhebung vorher festgelegt wird, je stabiler die Rahmenbedingungen sind und je geringer der Einfluss der Forscherin/des Forschers auf den Ablauf der Befragung ist, umso objektiver wird das Untersuchungsergebnis.

Auswertungsobjektivität ist gegeben, wenn verschiedene Forscher/innen auf Basis von standardisierten Vorgehensweisen bei der Auswertung zu gleichen Ergebnissen kommen. Um beispielsweise Fehler bei der Kodierung von verbalen Antworten zu vermeiden bzw. zu reduzieren, ist genau zu definieren, welche Aussagen bzw. Textbestandteile unter eine Kategorie fallen. Um Fehler bei der Auswertung von offenen Testantworten zu vermeiden bzw. reduzieren, ist eindeutig festzulegen, wie viele Punkte für welche Antworten vergeben werden. Klare schriftliche Instruktionen können Fehler bei der Eingabe von Daten in ein Statistikprogramm verhindern (z. B. Umgang bei fehlenden Werten, Vermeidung einer doppelten Datenerfassung).

Eine Interpretationsobjektivität liegt dann vor, wenn verschiedene Forscher/innen mit denselben statistischen Kennzahlen zu denselben Schlussfolgerungen kommen, wenngleich gerade bei der Interpretation von Daten ein gewisses Maß an Subjektivität nicht zu vermeiden sein wird. Der Interpretationsspielraum wird allerdings umso kleiner, je mehr sich die Interpretation auf vorher formulierte Annahmen (Hypothesen) beschränkt.

Schwieriger stellt sich die Situation in einem qualitativen Forschungsansatz dar, da die „Geltungsbegründung der Ergebnisse viel flexibler sein muss. Man kann nicht einfach ein paar Kennwerte errechnen, man muss mehr argumentativ vorgehen“ (Mayring, 2016, S. 140). Außerdem ist die geforderte Distanz zwischen Forscher/in und Beforschten weder vollständig erreichbar noch wünschenswert. Ein Interview lebt geradezu von der kommunikativen Beziehung, welche sich nicht unabhängig von den Personen, vom gewählten Zeitpunkt oder Ort entwickelt. Auch eine Standardisierung der Durchführung ist nur teilweise möglich. Wenn z. B. ein Interview mittels Leitfadens geführt wird, ist der Verlauf des Interviews offen.

Insbesondere das Nachfragen des Interviewers ist in hohem Maße von seinem Hintergrundwissen abhängig, daher könnten unterschiedliche Interviewer zu unterschiedlichen Ergebnissen gelangen. Aus diesem Grund ist es wichtig, die Interviews in Form von Transkripten zu dokumentieren, die eine nachträgliche Analyse möglich machen. (Brühl & Buch, 2006, S. 25)

Von Studierenden wird erwartet, dass sie bei der Durchführung ihres Forschungsvorhabens sowie bei der Auswertung und Interpretation der Daten den Grundsätzen der Objektivität folgen. In der Praxis erweist sich dies vor allem in berufsfeldbezogenen Forschungsvorhaben, bei denen die Studierenden gleichzeitig Akteure und Betroffene sind, mitunter als schwierig, was folgendes Beispiel exemplarisch veranschaulicht:

Beispiel

Ein engagierter Student aus einem berufsbegleitenden Studiengang entwickelte für seinen mehrstündigen Blockunterricht ein Konzept zur integrierten Bewegungspause. In einer dreimonatigen Längsschnitterhebung wurde regelmäßig gezielt Feedback zu den einzelnen Aktivitäten sowie zum Konzept als Ganzes eingeholt. Seine Erwartungshaltung war hoch. Abgesehen von einem möglicherweise dadurch resultierenden Versuchsleitereffekt (der Student beeinflusst durch seine Motivation und positive Einstellung das Ergebnis) zeigte sich seine Bias sowohl während der Erhebungsphase als auch in der Phase der Datenauswertung. (Teil-)Ergebnisse, die nicht stimmig mit seinem Konzept waren, wurden unbewusst als auch bewusst uminterpretiert, was die hier sinngemäß wiedergegebenen Aussagen des Studierenden im Rahmen der Betreuung andeuten: „Das kritische Feedback der zwei Schüler/innen sagt mir, dass sie die Idee der bewegten Pause nicht verstanden haben.“ „Das heutige durchwachsende Feedback hat nichts mit der Bewegungseinheit selbst zu tun, es war das Unterrichtsthema, das einen negativen Einfluss darauf hatte. Ich werde diese Daten daher nicht weiter auswerten.“ „Ich bin enttäuscht, dass die bewegte Pause nicht so angenommen wurde. Ich hätte mir von dieser Klasse ein besseres Feedback erwartet.“

Das Einnehmen einer kritisch-reflexiven Haltung zum Forschungsprozess und den darin gemachten eigenen Erfahrungen kann nicht auf „Knopfdruck“ erfolgen. Hier sind auch die Betreuer/innen von Abschlussarbeiten gefordert, Studierende bei der Reflexion ihrer Forschungshandlungen zu unterstützen. In der Bachelor-/Masterarbeit zeigt sich der Grad der kritisch-reflexiven Haltung in der retrospektiven Betrachtung des Forschungsprozesses, vor allem in der Methodenreflexion, wo auf die methodische Herangehensweise ein kritischer Blick geworfen wird und wo Schwachstellen der Erhebung und Interpretation offengelegt und analysiert werden.