K. Wolfgang Kallus - Erstellung von Fragebogen

Die Mehrzahl der bisher vorliegenden Arbeiten zur Testkonstruktion stellt den mathematisch-statistischen Hintergrund verschiedener testtheoretischer Modelle in den Vordergrund (Böttcher, 2007; Bühner, 2011; Eid & Schmidt, 2014; Kranz, 2001; Krauth, 1995; Kubinger, 1989; Lienert & Raatz, 1998; Moosbrugger & Kelava, 2007; Rost, 2004). Arbeiten mit einem überwiegend inhaltlichen Bezug sind von Mummendey (1987) und Osterlind (1989) publiziert worden. Mummendey geht vor allem auf den Fragebogen als Forschungswerkzeug ein und beschränkt sich dabei auf Beispiele zur einstellungsorientierten Messung mit Zustimmungsskalen. Osterlind leistet in seinem englischsprachigen Werk für die Leistungs- und Kenntnismessung Ähnliches wie die vorliegende Arbeit für die Messung von Merkmalen mittels Fragebogen, die Osterlind im Vorwort explizit ausklammert. Wertvolle Tipps und Anhaltspunkte entstammen auch Arbeiten aus der empirischen Sozialforschung. In diesen Arbeiten liegt der Schwerpunkt jedoch bei Einzelfragen (Porst, 2009), nicht jedoch bei der Entwicklung von konzeptbezogenen Frage-Antwort-Gruppen, die ein psychometrisches Verfahren kennzeichnen.

Für die Entwicklung eines Fragebogens sind folgende Schritte abzuarbeiten:

1. Abgrenzung und Klärung des zu erfassenden Merkmalsbereiches und der Zielpopulation. Bei der Festlegung der Zielpopulation ist auch an mögliche Vergleichsgruppen, „Benchmarks“ und Weiterentwicklungen zu denken. Daher gilt die Regel für die Festlegung der Zielpopulation: Eher breit definieren!

2. Spezifizierung des Merkmalsbereiches und Sammlung von Beispielen. Hier sollten möglichst umfassend Verhaltensweisen, Leistungen, Manifestationen in Gedanken, Gefühlen, Motivationen, Wünschen, Symptomen und Zuständen körperlicher und psychischer Art aufgelistet/gesammelt werden. Zur Unterstützung werden in dieser Phase häufig Interviews, Verhaltensbeobachtung, Arbeitsanalysen, Unfallanalysen und Dokumentenanalysen oder auch Workshops mit ExpertInnen eingesetzt.

3. Gruppierung der Manifestationen in Teilbereiche, die in ähnlicher Weise mit unterschiedlichen Merkmalsausprägungen variieren

4. Festlegung der charakteristischen Manifestationsvariation und Festlegung der Antwortdimensionen

5. Formulierung der Items

6. Prüfung der Items auf sprachliche Konsistenz, Einfachheit und Verständlichkeit

7. Festlegung von Instruktionen, Ankern und Vorgabemodalitäten

8. Fixierung der Itemreihenfolge

9. Durchführung einer Studie zur Prüfung der Subtests/Items

10. Kürzung/Ergänzung des Fragebogens

11. Festlegung von Varianten des Fragebogens

12. Normierung und Auswertungsrichtlinien

13. Validierung und Interpretationsrichtlinien

Mit den 13 Schritten der Fragebogenentwicklung entsteht ein psychometrisch geprüfter Fragebogen mit definierter Qualität, der auch in Normensystemen (z. B. ISO 10075 oder DIN 33430) eingeordnet werden kann. Während ein „Bogen mit Fragen“ z. T. wenig zuverlässige qualitative Informationen liefert, sind mit psychometrisch geprüften Fragebogen exakte Messungen von Veränderungen der Merkmalsausprägung oder von Unterschieden zwischen Personen, Gruppen, Teams oder Organisationseinheiten möglich.

Mit der Unterscheidung zwischen Fragebogen als psychometrisch geprüftem Messinstrument für quantitative Aussagen zu einem definierten Merkmalsbereich und der Vorgabe von Fragen zur späteren qualitativen Analyse („Bogen mit Fragen“) wird ein Fragebogen als Test im Sinne der klassischen Arbeit „Testaufbau und Testanalyse“ von G. A. Lienert (1969) klassifiziert. Danach ist ein Test ein „wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung“ (Lienert, 1969, S. 7). Die Vorgabe von Fragen zur qualitativen Analyse wird im Kapitel 7.1 „ Fragebogen, Interview, Verhaltensbeobachtung “ aufgegriffen.

Ein Fragebogen versucht, den Kriterien für einen psychometrischen Test zu entsprechen und den zu erfassenden Merkmalsbereich möglichst objektiv, zuverlässig und valide abzubilden.

– Objektivität im Sinne von Intersubjektivität erlaubt, die Merkmale unabhängig von den UntersuchungsleiterInnen zu erfassen. Objektivität bezieht sich dabei auf die Durchführung der Befragung, die Auswertung der Daten und die Interpretation der Ergebnisse.

– Zuverlässigkeit lässt sich erzielen, wenn die Fragen so gestellt werden, dass die antwortenden Personen in konsistenter Weise antworten können und die Ergebnisse sich bei unterschiedlichen Fragen zu einer Merkmalsfacette in vergleichbarer Weise zeigen. Konsistente Antworten schlagen sich in hohen Kennwerten für die Zuverlässigkeit (Reliabilität) des Fragbogens nieder. Zur Reliabilitätsprüfung werden Parallelmessungen und/oder Messwiederholungen vorgenommen. Parallelmessungen erfolgen zum Beispiel, wenn jede Merkmalsfacette durch mehrere Fragen abgebildet wird. Messwiederholungen finden abhängig von der Stabilität des zu messenden Merkmals nach kurzem oder längerem Zeitintervall statt. Die unterschiedlichen Optionen der Reliabilitätsschätzung werden im Kapitel 6.2 zur Überprüfung der Güte von Fragebogen diskutiert.

– Schließlich soll der Merkmalsbereich valide (modellkonform) abgebildet werden. Der Fragebogen soll diejenigen Merkmale und Zustände abbilden, die er zu messen vorgibt. Validität lässt sich insbesondere durch eine möglichst präzise Festlegung des zu messenden Merkmalsbereiches im Rahmen der Fragebogenentwicklung erreichen.

Die Definition des Merkmalsbereiches und seine Operationalisierung stellen einen zentralen Schritt in der Fragebogenentwicklung dar, dem in diesem Buch besondere Aufmerksamkeit geschenkt wird. Ziel der operationalen Definition ist eine Umschreibung der Äußerungsformen von Merkmalsunterschieden. Die Frage, wie sich inter- und intraindividuelle Unterschiede in der Merkmalsausprägung aus Sicht der Befragten darstellen und optimal operationalisieren lassen, stellt den zentralen ersten Schritt bei der Erstellung der Fragebogengrundeinheiten dar: die Formulierung der Items.

Die Operationalisierung des Merkmalsbereiches aus Sicht der Befragten bildet den ersten zentralen Schritt zur Sicherung der Validität (Gültigkeit) der Messungen. Selbstverständlich ist die Validität durch ergänzende empirische Daten – wie die Korrelationen zu relevanten Kriterien oder verwandten Konzepten – zu bestätigen. Hohe Validitätskoeffizienten können aber auch durch triviale Zusammenhänge oder durch Scheinkorrelationen, bedingt durch Drittvariablen, entstehen. Auch dieses Problemfeld wird in einem eigenen Abschnitt diskutiert ( Kapitel 6.3 ). Dabei wird insbesondere das Problem der Augenscheinvalidität kritisch beleuchtet. Augenscheinvalidität ist sowohl ein Problem bei der Itemformulierung und -auswahl als auch ein Problem bei der Interpretation von Fragebogenergebnissen. Ein verbreiteter Interpretationsfehler betrifft die absolute Interpretation der erhaltenen Skalenwerte, z. B. für Arbeitszufriedenheit. Ohne Vergleichswerte verbietet sich die absolute Interpretation der Messwerte für ein psychometrisches Testverfahren, das maximal Intervallskalenniveau aufweist.

Die statistische Überprüfung der Testgüte kann mittels Klassischer Testtheorie (Lienert & Raatz, 1998; Lord & Novick, 1968), anhand der Generalisierbarkeitstheorie von Cronbach, Gleser, Nanda und Rajaratnam (1972), anhand moderner statistischer Analysen mit linearen Strukturgleichungsmodellen (Steyer & Eid, 2001) oder auch mit einer Analyse in einem probabilistischen Testmodell (Fischer, 1974) erfolgen. Auch wenn die psychometrische Testkonstruktion im klassischen Modell erfolgt und dementsprechend die Frage der Messung im engeren Sinn außen vor bleibt, kann durch die Auseinandersetzung mit der Frage nach den zu messenden Merkmalen oder Konzepten ein wesentlicher theoretischer und praktischer Gewinn resultieren. Das Verständnis für die inhaltlich notwendigen Schritte bei der Fragebogenkonstruktion hilft, psychometrisch aussagekräftige, zuverlässige Ergebnisse zu erzielen.