Hans Brunner - Leitfaden zur Bachelor- und Masterarbeit

Validität (Gültigkeit)

Ein wichtiges Gütekriterium jedes Erhebungsinstruments bzw. -verfahrens ist dessen Gültigkeit. In der quantitativen Forschung ist eine Untersuchung dann valide, wenn das zu messende Konstrukt (siehe Kapitel 9.1.2) auch tatsächlich gemessen wird: ein Intelligenztest misst das Konstrukt „Intelligenz“ und nicht etwas anderes wie Konzentrationsfähigkeit oder Frustrationstoleranz. Dieses leicht nachvollziehbare Standardbeispiel findet sich häufig in der Literatur zu wissenschaftlichen Arbeiten. Die Wirklichkeit der Test- bzw. Fragebogenkonstruktion ist natürlich komplexer. So können z. B. bei der Beantwortung eines Items für das Konstrukt „Lesekompetenz“ irrelevante bzw. nicht intendierte Prozesse Einfluss nehmen, die zu einer niedrigen Konstruktvalidität führen, wie folgendes Beispiel verdeutlicht:

Beispiel

Zum Lösen der Leseaufgabe „Buben haben doppelt so viel Interesse an Instagram als Mädchen an Twitter“ müssen aus einer Häufigkeitsverteilung nicht nur zwei Werte herausgelesen (nicht-lineares Leseverständnis), sondern auch in ein Verhältnis gesetzt werden. Dieser Vorgang erfordert mathematische Kompetenz. Dieses Item erfasst neben dem intendierten Konstrukt „Lesekompetenz“ auch den nicht intendierten Prozess einer Rechenleistung. Es misst daher nicht genau, was es messen soll.

Validität bezeichnet den Grad der Genauigkeit, mit dem eine Untersuchung das erfasst, was erfasst werden soll.

Ein Beispiel für Konstruktvalidität

Wenn mittels Fragebogen das Konstrukt „Angst“ gemessen werden soll, dann geht es zunächst darum, theoriegeleitet Merkmalsausprägungen von „Angst“ zu definieren und daraus konkrete Items zu erstellen. Das entwickelte Instrument wird im Anschluss im Feld getestet, ein Datensatz wird generiert. Kann bei der Datenauswertung mittels explorativer Faktorenanalyse herausgearbeitet werden, dass die entsprechenden Items zusammengehören und somit das Konstrukt „Angst“ abbilden, dann hat dieses Erhebungsinstrument eine ausreichende Konstruktvalidität.

Dieses Beispiel veranschaulicht, dass Konstruktvalidität mittels statistischer Verfahren (explorative oder konfirmatorische Faktorenanalyse) geprüft wird. Von Studierenden, die eine Bachelor-/Masterarbeit verfassen, wird nicht erwartet, dass sie ihr Erhebungsinstrument auf seine Konstruktvalidität testen. Sie sind vielmehr angehalten, unter Einbeziehung von Literatur eine logisch-inhaltliche Analyse der Items in ihrem Erhebungsinstrument durchzuführen. Mit diesem Ansatz wird eine Annäherung an Inhaltsvalidität (Face Validity, Augenscheinvalididät) angestrebt, die dann gegeben ist, „wenn der Inhalt der Testitems das zu messende Konstrukt in seinen wichtigsten Aspekten erschöpfend erfasst.“ (Bortz & Döring, 2006, S. 200)

In anderen Worten, ein Erhebungsinstrument ist dann inhaltsvalide, wenn es die zu messenden Merkmalsausprägungen bzw. Merkmale umfassend erhebt.

Beispiele

Es soll die Fremdsprachenkompetenz von Schülerinnen/Schülern gemessen werden. Ein dafür entwickelter Test wäre inhaltsvalide, wenn die four skills Hören, Lesen, Sprechen und Schreiben getestet werden.

Auf Basis des Kompetenzmodells für Mathematik 8. Schulstufe (Bundesinstitut für Bildungsforschung, Innovation & Entwicklung, 2011) soll der Kompetenzbereich „Arbeiten mit Ebene und Raum“ (mathematischer Inhalt) gemessen werden. Da es im Rahmen dieses Kompetenzmodells wesentlich ist, einen mathematischen Inhalt (Inhaltliche Kompetenz) mit jeweils einer der vier allgemeinen mathematischen Kompetenzen „Modellieren“, „Operieren“, „Kommunizieren“ und „Problemlösen“ (mathematische Handlung) zu kombinieren, wäre bei einem diesbezüglichen Kompetenztest nur dann Inhaltsvalidität gegeben, wenn es zu allen vier Teilkompetenzen jeweils eine Testaufgabe gibt.

Da es sich bei diesem Verfahren um eine logisch-inhaltliche Analyse des Erhebungsinstruments bzw. der einzelnen Items handelt, ist Inhaltsvalidität ein „qualitatives Maß“ (Brühl & Buch, 2006, S. 12), an dem sich Studierende orientieren. Sie hinterfragen kritisch und prüfen inhaltlich, ob mit dem entwickelten Erhebungsinstrument das Zielkonstrukt umfassend erfasst bzw. ob die Forschungsfrage umfassend beantwortet wird.

Beispiel

Eine Studentin möchte in ihrer Bachelorarbeit im Rahmen einer mündlichen Befragung mit folgenden Items die „Einstellung von Ernährungspädagoginnen/Ernährungspädagogen zu Heilkräutern“ erheben:

1) Kennen Sie Kräuter, die zu der Gruppe der Heilpflanzen zählen?

2) Was verstehen Sie unter Heilkräutern?

3) Welche Wirkung haben Heilkräuter?

4) Woher wissen Sie, dass Heilkräuter wirkungsvoll sind?

5) Bringen Sie Ihr Wissen über Heilkräuter im Theorieunterricht ein? Wenn ja, in welcher Form?

6) Verwenden Sie Heilkräuter in der Schulküche? Wenn ja, in welcher Form?

Es bedarf in diesem Beispiel keiner tiefergehenden logisch-inhaltlichen Analyse, um auf eine niedrige Inhaltsvalidität zu schließen. Aus den erwartbaren Antworten bei den Fragen 1 und 2 wird mehr auf das „Wissen über Heilpflanzen“ geschlossen werden können, als auf die „Einstellung zu Heilkräutern“. Item 3 ist diesbezüglich besser: Steht z. B. die befragte Person Heilkräutern skeptisch gegenüber, wird sie sich bei dieser Frage vermutlich entsprechend äußern. Bei Item 4 handelt es sich um eine Suggestivfrage 2, was in Bezug auf die Objektivität der Forscherin problematisch ist. Die Antworten zu den Items 5 und 6 werden wahrscheinlich breit angelegt werden, was das Interpretieren hinsichtlich der Forschungsfrage erschwert.

Studierende können auf einen großen Pool an standardisierten, kostenfreien Erhebungsinstrumenten zurückgreifen, deren Einsatz sich bei Forschungsvorhaben im Rahmen von Bachelor-/Masterarbeiten bewährt haben. Wird ein Erhebungsinstrument (adaptiert) übernommen, ist dieses in Bezug auf die Forschungsfrage auf Inhaltsvalidität zu prüfen. Folgendes Beispiel aus dem Forschungsprojekt „Schulische Partizipation österreichischer Jugendlicher“ veranschaulicht, warum dies wichtig ist.

Beispiel

Schulische Beteiligung Jugendlicher vollzieht sich in verschiedenen Bereichen, die allgemeine Schulorganisation ist einer davon. Das Ausmaß der Beteiligung wurde u. a. mit folgenden zwei Items gemessen:

„Wie stark kannst du bei der Lehrer/innenauswahl in der Schule mitbestimmen?“

„Wie stark kannst du bei der Verteilung von finanziellen Mitteln in der Schule mitbestimmen?“

Das österreichische Schulsystem sieht die Mitbestimmung von Schülerinnen und Schülern bei der Auswahl von Lehrpersonen sowie bei der Verteilung von finanziellen Mitteln nicht vor. Für die Erhebung des Ausmaßes der schulischen Beteiligung österreichischer Jugendlicher sind diese zwei Aspekte irrelevant, Inhaltsvalidität ist daher nicht gegeben.

Auf qualitative Forschungsmethoden lässt sich das Gütekriterium der Validität schwerer übertragen, da z. B. bei einer teil- bzw. unstrukturierten mündlichen Befragung sich die Fragestellungen aus der Situation heraus ergeben. In der Diskussion über das Gütekriterium der Validität in der qualitativen Forschung wird daher auch der Standpunkt vertreten, dass unter „Validität die Wahrheit von Aussagen zu verstehen [ist]“, d. h. es „kommt nicht Methoden sondern Aussagen ein Wahrheitswert zu“ (Brühl & Buch, 2006, S. 31). Für ein Interview bedeutet das z. B., dass es daraufhin analysiert wird, ob die Befragten aufrichtig antworten. Validität wird „als sozialer Diskurs und Konstruktion von Wissen mit dem Ziel der Vertrauenswürdigkeit [sic] (trustworthiness) beschrieben“ (Brühl & Buch, 2006, S. 31).

Eine gängige Form der diskursiven Validierung ist die sogenannte Kommunikative Validierung (Schründer-Lenzen, 2013, S. 153; Steinke, 2017, S. 320). Dabei handelt es sich um ein Verfahren, das die Gültigkeit von Aussagen und/oder Interpretationen überprüft. Kommunikative Validierung bedeutet demnach, die Richtigkeit der Datenauswertung von den befragten Personen selbst bestätigen zu lassen. Diese erhalten beispielsweise die Möglichkeit, die Interviewprotokolle (Transkripte) zu kommentieren bzw. ihre Zustimmung dazu zu geben, dass die Aussagen inhaltlich richtig erfasst wurden. Gängiger ist es, gemeinsam mit den betroffenen Personen die Gültigkeit der Interpretation der erhobenen Daten zu diskutieren.