K. Wolfgang Kallus - Erstellung von Fragebogen

Aus diesem Grund ist eine weitere Zusammenfassung zu einem Gesamtwert nicht sinnvoll, sondern der aktuelle Zustand der Person lässt sich nur über eine Kombination aus beiden Werten charakterisieren. Beanspruchung „zerfällt“ in der Regel noch in je einen Faktor für „sozial-emotionale Beanspruchung“ und „leistungsbezogene Beanspruchung“.

Exkurs

Die Merkmalsstruktur stellt ein lineares Strukturgleichungsmodell anschaulich und präzise dar (Abbildung 3). Dabei wird oft zwischen Messmodell (in Abbildung 2 für „Allgemeine Beanspruchung“) und dem Strukturmodell für den Merkmalsbereich unterschieden. Strukturgleichungsmodelle zeigen Hinweise auf Verletzungen der Annahme der Klassischen Testtheorie in Form von Messfehlerkorrelationen (siehe dazu auch Wagner, Jiménez, Kallus & Kellmann, 2016).

Abbildung 3: Messmodell für „sozial-emotionale Beanspruchung“ (Kallus, 2016, S. 68)

Wie am Beispiel des EBF aufgezeigt wurde, lassen sich hoch korrelierende Subtests in vielen Fällen zu Bereichssubtests für den Merkmalsbereich oder für latente Variablen eines psychologischen Konzepts zusammenfassen. In älteren Arbeiten wurde statt des Begriffs der latenten Variablen auch der Begriff der (latenten) Dimension verwendet, um ein psychologisches Konzept wie z. B. Stress theoretisch zu beschreiben. Wenn alle Subtests hoch korrelieren, ergibt sich bei der Faktorenanalyse ein „Generalfaktor“ (der den Großteil der Varianz auf sich „vereint“). In diesem Fall ist ein einziger Gesamtwert sinnvoll. Ein solcher Gesamtwert ergibt sich z. B. für den Teamqualitätsfragebogen (Kallus & Brandt, 2006), da hier alle Subtests hoch korrelieren.

Die Güte von Subtests, von Bereichssubtests und von einem Gesamtwert lassen sich mit den Methoden der Klassischen Testtheorie überprüfen, wobei in der Analyse in der Regel die Items auch für die Gesamtwerte und die Bereichssubtests als Dateneinheiten verwendet werden. Der Einsatz der Faktorenanalyse und linearer Strukturgleichungsmodelle in der Fragebogenkonstruktion wird in Kapitel 6.4 aufgegriffen. Die Statistik der Fragebogenentwicklung steht jedoch hinter der Entwicklung eines inhaltlich und theoretisch fundierten Systems von angemessenen Fragen zurück.

Bei einem psychometrischen Test werden die Items in mehreren Schritten systematisch entwickelt und zusammengestellt. Ergebnis ist ein Fragebogen mit Subtests, der quantitative Aussagen in zuverlässiger Form erlaubt. Eine einfache, oft unsystematische Zusammenstellung von Fragen zu einem Thema gehört im Vergleich dazu eher in den Bereich der qualitativen Forschung. Bei der qualitativen Interpretation von Antworten zu einem Item ist hohe Vorsicht geboten. Hierbei werden messtheoretische Probleme in vielen Fällen sträflich missachtet. Fehlinterpretationen werden oft nicht erkannt und können bis zur politischen Ebene zu Fehleinschätzungen und Fehlentscheidungen führen. In Kapitel 3.4 wird das Skalierungsproblem ausführlich besprochen.

Auf Basis einer klaren Definition und Operationalisierung des zu messenden Konzepts oder Merkmals lassen sich die Frage-Antwort-Komplexe (Items) in angemessener Weise so formulieren, dass die angezielten zuverlässigen Subtestwerte als Resultat der Fragebogenentwicklung tatsächlich sinnvolle Messwerte erbringen. In vielen Fällen sind vorab entsprechende theoretische Vorarbeiten und empirisch orientierte Entwicklungsschritte vorzunehmen.

Im Folgenden wird ein Spektrum von Ansätzen zur Operationalisierung des Merkmalsbereiches zusammenfassend vorgestellt. Dabei werden die Methoden nach steigender Komplexität geordnet. In allen Fällen sind die zu erfassenden Merkmale mindestens mit einer „Arbeitsdefinition“ hinreichend klar zu umreißen. Arbeitsdefinitionen sollten mit den wichtigsten Normen und etablierten wissenschaftlichen Festlegungen kompatibel sein oder mindestens dort eingeordnet werden können. In diesem Sinne ist es z. B. wenig sinnvoll, Belastung und Beanspruchung abweichend von der ISO 10075 zu definieren. Schwierig scheint die Definition und Einordnung vor allem bei inflationär verwendeten Begriffen wie Stress, Burnout oder Resilienz. Im Hinblick auf eine sinnvolle Testentwicklung sollte sich die Definition an etablierten theoretischen Konzepten orientieren. Unter Umständen kann an dieser Stelle die Neuentwicklung eines Verfahrens enden, da bereits hinreichend gute Messinstrumente von den verschiedenen wissenschaftlichen Arbeitsgruppen entwickelt wurden. Die vorhandenen Tests können nach Rücksprache mit den InhaberInnen des Urheberrechts für die eigene Entwicklung/Befragung ganz oder teilweise übernommen/ übersetzt oder adaptiert werden.

In diesem Kapitel werden die folgenden möglichen Ansätze zur Testentwicklung behandelt:

1. Adaptierung – Übersetzung – Neukomposition vorhandener Messinstrumente

2. Konzeptgeleitete Zusammenstellung von Subtests und Items

3. Interviews zur Präzisierung des Merkmalsbereiches

4. Workshop-Methoden

5. Empirisch basierte Konzeptdefinition

Im einfachsten Fall liegt bei einer Testentwicklung für den relevanten Teil der zu messenden Merkmale bereits ein Fragebogenverfahren vor, möglicherweise jedoch in einer nicht direkt einsetzbaren Sprache. Sollte ein Testverfahren in einer Fremdsprache vorliegen, lässt sich nach Rücksprache mit den AutorInnen in der Regel über eine Übersetzung und/oder Adaptierung auf dem schnellsten Weg ein „neuer“ Fragebogen „entwickeln“.

Bei der Übersetzung und Adaptierung von Items in eine andere Sprache gelten dieselben Leitlinien zur Formulierung von Items wie bei einer Neuentwicklung (vgl. Kapitel 3.3 ). Die Zusammenstellung von Subtests, die Itemreihenfolgen und die formale Vorgabe müssen sich eng am Originalfragebogen orientieren.

Um die Qualität einer Übersetzung zu prüfen, empfiehlt sich bei Fragebogen eine Rückübersetzung durch eine unabhängige Person, die den Originaltest nicht kennt (Tanzer & Sim, 1999). Diskrepanzen in einer Übersetzung können unter anderem auf Übersetzungsfehlern beruhen oder kulturelle Besonderheiten widerspiegeln. Bei Diskrepanzen sollte unter Einbeziehung von „Native Speakern“ das Problem aufgedeckt werden und eine sinngemäß adäquate Übertragung des Items vorgenommen werden. An dieser Stelle ist es wichtig, das Item vollständig, d. h. Frage- und Antwortoptionen, in die Betrachtung einzubeziehen und auch die anderen Items des Subtests zu betrachten.

Bei der Übertragung eines Fragebogens in eine andere Sprache dürfen formale Kennzeichen nur dann verändert werden, wenn mit dem Sprachwechsel formale Änderungen zwingend sind, wie beim Wechsel von der lateinischen Schriftart auf Kyrillisch oder Griechisch. Die formalen Aspekte betreffen unter anderem Schrifttyp, Schriftgröße, Itemreihenfolge, Anzahl der Items pro Seite, Anordnung der Antwortskalen, Instruktionen, Beispiele etc.

In vielen Projekten ergibt sich durch die Fragestellung oder die Operationalisierung der zu messenden Merkmale eine teilweise inhaltliche Überlappung oder Überschneidung mit bereits vorliegenden Fragebogenverfahren. In diesem Fall ist die einfache Übersetzung oder der Einsatz eines vorliegenden Instruments nicht ausreichend, sondern die vorliegenden Verfahren müssen ergänzt oder neu konzipiert werden. Relativ unproblematisch ist meist die Kombination neuer Teilbereiche mit bestehenden Fragebogen oder Subtests anderer AutorInnen. Wichtig bei diesem Vorgehen wie auch bei den im Folgenden besprochenen Vorgehensweisen ist neben einer korrekten Angabe der Quellen eine Rücksprache mit den AutorInnen. Mögliche Verletzungen des Copyrights sind ebenso zu beachten wie wirtschaftliche Schäden durch Plagiate.