Handbuch Schulpsychologie

Schließlich lässt sich das Bildungssystem als Ganzes betrachten. Dabei können beispielsweise Fragen von Interesse sein wie: Unterscheidet sich das Leistungsniveau von Schülerinnen und Schülern in verschiedenen Bundesländern? Lassen sich Effekte bildungspolitischer Reformen auf die Leistung der Schülerinnen und Schüler nachweisen? Solche Fragen werden häufig mit breitangelegten Large-Scale-Assessment-Studien adressiert. Sie stehen nicht primär im Zentrum schulpsychologischer Forschung, sondern des angrenzenden Forschungsbereichs der Empirischen Bildungsforschung. Nichtsdestotrotz können entsprechende Ergebnisse wegen ihrer bildungspolitischen Implikationen große Relevanz für die Schulpsychologie haben, zumal diese mit Veränderungen für die Schüler- und Lehrerschaft einher gehen können, die dann Eingang in den schulpsychologischen Forschungs- und Beratungsprozess finden.

Zur Untersuchung von Fragestellungen auf der Individual- und/oder der Systemebene stehen verschiedene Forschungsdesigns und statistische Analysemethoden zur Verfügung. Besonders wichtig für die kritische Reflexion von Forschungsergebnissen ist der Design-Aspekt, da das Studiendesign ausschlaggebend für Umsetzung und Praxistransfer wissenschaftlicher Befunde ist. Ist das Design nicht adäquat gewählt, kann keine noch so differenzierte Methode der Datenauswertung zur Beantwortung der Forschungsfrage dienen. Rubin (2008b, S. 808) nennt das: »design trumps analysis« (dt.: »das Design einer Studie übertrumpft die Datenanalyse«). Das Forschungsdesign einer wissenschaftlichen Untersuchung ist also notwendige, aber keinesfalls hinreichende Bedingung eines gelingenden Forschungsprozesses.

Neben Aspekten der Datenauswertung sollte die Planung schulpsychologischer Forschungsdesigns in theoretischen Überlegungen verankert sein (theory-driven research), um neben der Wirksamkeit der Intervention auch die zugrundeliegenden Veränderungsprozesse und Wirkmechanismen evaluieren zu können (Mercer et al., 2014). Zudem sollte das Forschungsdesign sinnvoll an vorhandene Forschungsergebnisse anknüpfen. Verschiedene Forschungsdesigns lassen sich hinsichtlich der Manipulierbarkeit der Intervention, der Anzahl der Erhebungszeitpunkte, der Anzahl untersuchter Individuen sowie dem Aggregationsniveau wissenschaftlicher Befundlagen differenzieren.

Explizit oder implizit zielt eine Vielzahl wissenschaftlicher Forschungsvorhaben auf die Analyse von Ursache-Wirkungs-Zusammenhängen, d. h. kausale Zusammenhänge zwischen einer verursachenden, unabhängigen Variablen (UV) und einer abhängigen Variable (AV), die potentiell durch die UV beeinflusst wird.

Ein Team von Schulpsychologen und -psychologinnen hat eine neue Intervention speziell für von Mobbing betroffene Personen in der Schule entwickelt, die nun empirisch auf ihre Wirksamkeit geprüft werden soll. Ziel des Programms ist es, die Schüler und Schülerinnen bei der Bewältigung erlebter Mobbing-Vorfälle durch eine Stärkung des Selbstwirksamkeitsempfindens zu unterstützen. Dazu können sich die Probanden und Probandinnen einer von zwei Gruppen zuordnen, von der nur die erste Gruppe an der Intervention teilnimmt. Im Anschluss wird die wahrgenommene Selbstwirksamkeit der Probanden mittels eines standardisierten Testinstrumentes in beiden Gruppen erfasst. Das Schulpsychologen-Team will zeigen, dass die Probanden nach Teilnahme an dem Interventionsprogramm ihre wahrgenommene Selbstwirksamkeit höher einschätzen als die Probanden der Gruppe, die diese Intervention nicht durchlaufen hat. Die unabhängige Variable (UV) kann also zwei Werte annehmen, die jeweils die Teilnahme vs. Nicht-Teilnahme an der Mobbing-Intervention anzeigen. Die abhängige Variable (AV) ist die wahrgenommene Selbstwirksamkeit der Probanden und Probandinnen.

Das klassische Design für die Prüfung kausaler Zusammenhänge ist das experimentelle Design. Hier werden mindestens zwei Stufen der UV systematisch variiert bzw. manipuliert, um anschließend den Einfluss auf eine AV beobachten zu können. Ein weiteres Merkmal des klassischen Experiments ist die Kontrolle bzw. Konstanthaltung von Störvariablen (Kovariaten oder konfundierende Variablen), die als Ursache für potentielle Veränderungen bzw. Unterschiede in der AV in Frage kommen. In unserem Beispiel ( Beispiel) könnte es sein, dass einige der von Mobbingvorfällen betroffenen Schüler zusätzliche psychotherapeutische Unterstützung eingeholt haben. Ein positiveres Abschneiden der Interventionsgruppe ist dann nicht mehr eindeutig auf die Mobbingintervention zurückzuführen, sondern kann auch Folge der psychotherapeutischen Maßnahmen sein. Die Kontrolle konfundierender Einflüsse wird durch das Prinzip der Randomisierung gewährleistet. Randomisierung bedeutet, dass die Personen (z. B. Schüler, Lehrkräfte, Eltern) zufällig einer der Untersuchungsbedingungen zugewiesen werden.

Bei gelungener Randomisierung haben potentielle Störvariablen keinen verzerrenden, konfundierenden Einfluss auf die Werte der AV. Somit wird gewährleistet, dass systematische Unterschiede hinsichtlich der AV lediglich auf die Variation der UV und nicht auf andere, bereits vor der Intervention bestehende Unterschiede zwischen den Gruppen zurückgeführt werden können (interne Validität, s. u.). Das randomisierte experimentelle Design gilt daher auch als »Goldstandard« (vgl. Rubin, 2008a), wenn es um die Analyse kausaler Wirkzusammenhänge geht. Studien mit diesem Design werden auch als randomisierte kontrollierte Studien (RCT; engl.: randomized controlled trial) bezeichnet.

Die randomisierte Zuweisung von Personen zu Untersuchungsbedingungen ist oft nicht möglich. Organisatorische, pragmatische oder ethische Gründe können eine zufällige Zuweisung unmöglich machen. In unserem Beispiel wäre es allein aus ethischen Gründen nicht vertretbar, die von Mobbing betroffene Personen in die Kontrollgruppenbedingung ohne Intervention zu schicken. Für solche Fälle stehen quasi-experimentelle Forschungsdesigns zur Verfügung (Campbell & Stanley, 1963), bei denen auch die Intervention bzw. das Treatment manipulierbar und der AV zeitlich vorgeordnet ist. Im Gegensatz zum echten Experiment findet jedoch keine randomisierte, zufällige Zuweisung der Versuchspersonen statt (Shadish, Cook & Campbell, 2002). Dürfen z. B. die Probanden selbst entscheiden, an welcher der beiden Untersuchungsbedingungen sie teilnehmen, liegt eine Selbstselektion vor. Hier ist der Einfluss von Störvariablen nicht mehr auszuschließen. Kommen vorrangig hoch-motivierte Mobbing-Opfer in die Intervention, die bereits weitere Unterstützungsmaßnahmen nutzen, ist ein positiver Effekt der Intervention nicht eindeutig der schulischen Intervention anzurechnen (selection bias). In solchen Fällen ist die interne Validität ( Abschnitt 3.2.4) der Studie gering.

Im Kontext quasi-experimenteller Designs unterscheiden Shadish et al. (2002) verschiedene Subdesigns, von denen die folgende exemplarische Auswahl für schulpsychologische Forschung besonders relevant ist:

Quasi-experimentelle Designs ohne Kontrollgruppe. Ein Versuchsplan, der sich durch seine einfache Durchführbarkeit auszeichnet, ist das Ein-Gruppen-Posttest-Design (One-Shot Case Study). Hier wird lediglich eine Untersuchungsgruppe zu einem Messzeitpunkt, d. h. nachdem eine Intervention in dieser Gruppe stattgefunden hat, untersucht. Der Nachteil dieses Designs liegt in der geringen internen Validität, denn die Werte auf der erhobenen AV können durch das Treatment beeinflusst sein, jedoch auch durch eine unbekannte Anzahl anderer Faktoren.