Handbuch Schulpsychologie

Quasi-experimentelle Designs mit Kontrollgruppe. Eine mögliche Erweiterung der One-Shot Case Study ist das Posttest-Design mit nicht-äquivalenten Gruppen, bei dem die Datenerhebung wiederum nur zu einem Messzeitpunkt stattfindet. Ein solches Design liegt im Beispiel vor. Zusätzlich zu der Interventionsgruppe wird hier eine weitere Gruppe betrachtet, die keine Intervention erhält und somit als Referenz- bzw. Kontrollgruppe fungiert. Die Zuweisung der Personen zu den Gruppen erfolgt jedoch nicht per Zufall. Folglich kann die Vergleichbarkeit oder Äquivalenz der beiden Gruppen nicht vorausgesetzt werden. Der Nachteil liegt somit in der potenziell mangelnden Vergleichbarkeit der Gruppen, denn Selektionseffekte können nicht ausgeschlossen werden. Unterschiede zwischen beiden Gruppen könnten bereits vor der Intervention vorgelegen haben.

Quasi-experimentelle Designs mit mehreren Messzeitpunkten. Hier werden die interessierenden Variablen zu mindestens zwei Messzeitpunkten an ein und derselben Stichprobe erhoben. Bei unserem Beispiel könnte das Design entsprechend erweitert werden, indem in beiden Gruppen vor und nach der Intervention die Selbstwirksamkeit erfasst wird (sog. Prätest-Posttest-Kontrollgruppen-Design). Der Vorteil eines solchen Designs liegt darin, dass potentielle Niveauunterschiede zwischen den beiden Gruppen vor der Intervention bei der Datenauswertung kontrolliert werden können. Zusätzliche Erweiterungen durch die Realisierung weiterer Messzeitpunkte sind möglich.

Zeitreihendesigns bzw. intensive Längsschnittdesigns sind von den anderen Designs abzugrenzen. Hierbei wird eine Folge von Messungen einer (oder mehrerer) AV an einer größeren Anzahl aufeinanderfolgender Messungen durchgeführt. Shadish et al. (2002, S. 174) empfehlen eine Datenerhebung zu 100 Messzeitpunkten für die korrekte Identifikation der entsprechenden Modellparameter im Rahmen von Zeitreihenanalysen und betonen die Bedeutung des Zeitreihendesigns als eines der effektivsten quasi-experimentellen Versuchspläne. Diese sind besonders gut geeignet um auch die funktionale Form von Veränderungs- bzw. Entwicklungsverläufen abzubilden. Es gibt verschiedene Spielarten von Zeitreihenplänen, z. B. einfache ohne Kontrollgruppe vs. mehrfache Zeitreihenpläne, die zusätzlich eine oder mehrere Kontrollgruppen beinhalten. Intensive Längsschnittdesigns lassen sich beispielsweise im Rahmen eines sog. Ambulanten Assessments umsetzten, wobei der Fokus auf einer Datenerhebung in möglichst natürlichen Kontexten, beispielsweise dem Schulalltag, liegt (Bugl, Schmid & Gawrilow, 2015).

In Studien mit Einzelfalldesign wird das individuelle Verhalten und Erleben einer Person über die Zeit beobachtet. Ziel ist es, die erfassten individuellen Datenreihen hinsichtlich der zeitlichen Struktur und ggf. im Hinblick auf potentielle Interventionseffekte zu analysieren (Schmidt, 2010). Dieser Designtyp eignet sich besonders gut, um individuelle Verläufe, Entwicklungen oder Veränderungen abzubilden. Einzelfalluntersuchungen, die als Fallstudien, Single-Subject Designs oder Single-Case-Designs (Kazdin, 1982) bezeichnet werden, werden bei Fragestellungen angewendet, die sich auf das einzelne Individuum beziehen.

Sehr bekannt ist die Fallstudie von Ebbinghaus aus dem 19. Jahrhundert, mit der er an sich selbst das Lernen und Erinnern von Silben untersuchte und die in zahlreichen Studien replizierten Behaltens- und Vergessenskurven ableitete. Einzelfalldesigns eignen sich insbesondere zur Hypothesengenerierung, wenn es noch keinerlei empirische Befunde oder theoretische Annahmen zu einer Fragestellung gibt. Wichtig im Hinblick auf dieses Design ist schließlich, dass Einzelfälle nicht unbedingt individuelle Personen sein müssen, sondern auch Gruppen von Personen oder Institutionen können als Einzelfall fungieren. Letztere Design-Varianten sind bei Fragestellungen angezeigt, die sich auf die Gruppen als Ganzes beziehen (Petermann, 1996).

Beim natürlichen Experiment (Meyer, 1995) werden mindestens zwei Treatment-Bedingungen hinsichtlich der Wirkung auf eine AV untersucht. Im Gegensatz zum (quasi-)experimentellen Design unterliegt die Variation der UV hierbei jedoch nicht der Kontrolle des Versuchsleiters. Im Vergleich zum Experiment müssen jedoch stärkere Annahmen erfüllt sein, die sich beispielsweise auf die Vergleichbarkeit der untersuchten Gruppen beziehen. Die interne Validität ( Abschnitt 3.2.4) ist in solchen Untersuchungen entsprechend oft stärker eingeschränkt als in experimentellen Studien.

Davon abzugrenzen sind nicht-experimentelle Designs, die als korrelative Versuchspläne oder passive Beobachtungsstudien bezeichnet werden (vgl. Shadish et al., 2002). Diese weisen keine der strukturellen Eigenschaften (quasi-)experimenteller Studien auf: keine zeitliche Ordnung der Variablen, keine Manipulation der UV und keine randomisierte Zuweisung der Probanden. Wird in einer Studie ohne Intervention die wahrgenommene Selbstwirksamkeit und die depressive Symptomatik von Schülerinnen und Schülern zu einem Messzeitpunkt erfasst, so handelt es sich um eine korrelative Studie, in der lediglich der statistische Zusammenhang zwischen den beiden Merkmalen beurteilt werden kann, nicht jedoch das kausale Wirkgefüge. Bisweilen können korrelative Studien wichtige hypothesengenerierende Informationen liefern.

Häufig gibt es zu einer konkreten Forschungsfrage diverse (quasi-)experimentelle Quer- und/oder Längsschnittstudien, sodass nicht nur ein empirischer Befund, sondern sehr viele, auf den ersten Blick auch widersprüchliche Einzelergebnisse vorliegen. Dann besteht die Aufgabe der Forschung darin, diese unterschiedlichen Befunde gemeinsam zu bewerten, um weitere Forschungsdesiderate sowie mögliche Handlungskonsequenzen ableiten zu können. Hier lassen sich zwei Vorgehensweisen unterscheiden: die Metaanalyse und das narrative Review.

Bei einer Metaanalyse (Glass, 1976) werden mehrere empirische Einzelbefunde zu einem gemeinsamen inhaltlichen Themengebiet miteinander verglichen und systematisch zusammengefasst. Die Untersuchungseinheiten einer Metaanalyse bilden die einzelnen empirischen Studien (sog. Primärstudien), deren Ergebnisse statistisch analysiert und aggregiert werden. Auch in einem narrativen Review wird die Forschungsliteratur zu einem konkreten Thema gesammelt und zusammengefasst, jedoch nicht mit statistischen Verfahren, sondern in qualitativ beschreibender Art (vgl. Cook, Mulrow & Haynes, 1997). Zudem sind Metaanalysen von narrativen Reviews insofern abgrenzbar, als sie sich durch im Vorhinein exakt definierte Kriterien zur Auswahl der Primärstudien auf Ebene statistischer Indikatoren und einer systematischen Dokumentation des Prozesses der Ergebnisaggregation auszeichnen. Im Vergleich zu narrativen Reviews sind Metaanalysen daher durch eine größere Objektivität charakterisiert. Das Ziel einer Metanalyse besteht zudem nicht nur in der Aggregation der Ergebnisse zu einem statistischen Kennwert, sondern in der Quantifizierung der Unterschiedlichkeit bzw. Heterogenität der Befunde aus den Primärstudien. Hierbei können zusätzlich Drittvariablen identifiziert werden, die diese Variabilität der Befunde erklären können (sog. Moderatorvariablen).

Die Bedeutung metaanalytischer Techniken nimmt nicht zuletzt vor dem Hintergrund eines enormen Zuwachses empirisch-wissenschaftlicher Studien zu bestimmten Untersuchungsbereichen und der damit verbundenen Wissensexplosion zu. Die Technik der Metaanalyse ist jedoch nicht in jedem Fall sinnvoll. Sie eignet sich beispielsweise nicht, wenn lediglich eine sehr kleine Anzahl empirisch-quantitativer Primärstudien vorliegt, die zudem heterogen hinsichtlich der methodischen Qualität und/oder hinsichtlich der Operationalisierung der interessierenden Konstrukte sind. Auch zur Darstellung der historischen Entwicklung eines konkreten Forschungsfeldes ist die Metaanalyse weniger geeignet. Hierfür ist ein klassisches narratives Literaturreview die Methode der Wahl.