Sabine Trepte - Medienpsychologie

Eine systematische Forschungsprogrammatik verspricht eine hohe Forschungsqualität. Neben einer umfassenden und systematischen Programmatik beeinflusst die Transparenz – z. B. in Form von Präregistrierungen

Abb. 2.1: Der Forschungsablauf

von Studien – die Forschungsqualität. Lange Zeit hatten vor allem Publikationen eine Chance, in Fachzeitschriften publiziert zu werden, die bestätigte Hypothesen vorweisen konnten. Dass dies keine gesunde Praxis ist, liegt auf der Hand. Nehmen wir an, wissenschaftliche Studien, deren Ergebnisse die aufgestellten Hypothesen bestätigen (die also beispielsweise signifikante Medienwirkungen zeigen), haben eine größere Chance, in wissenschaftlichen Fachzeitschriften publiziert zu werden, als Studien, die keine signifikanten Effekte zeigen. Dann würden die positiven Effekte bevorzugt publiziert und die Befundlage verzerrt werden (»Publication Bias«). Alle Lesenden und auch Meta-Analysen würden die Effekte überschätzen. Schlussendlich erhielte die Öffentlichkeit ein falsches Bild. Um den Publication Bias zu vermeiden, werden verschiedene Schritte unternommen. Zum Beispiel beschreiben Wissenschaftler:innen vor der Durchführung der Studie ganz genau, was sie machen möchten, und publizieren diesen Analyse-Plan in Form einer Präregistrierung, sodass von vornherein ausgeschlossen wird, dass unbestätigte Hypothesen möglicherweise nicht publiziert werden.

In Meta-Analysen werden verschiedene Studien gesammelt, die ähnliche Hypothesen mit ähnlichen Operationalisierungen geprüft haben. Es wird simuliert, dass all diese Studien eine einzige Studie darstellen, um so wiederum eine Effektstärke für die interessierende Hypothese berechnen zu können. Effektstärken werden für unterschiedliche statistische Verfahren unterschiedlich berechnet. Sie stellen ein vergleichbares, standardisiertes Maß dar, mit dem der Zusammenhang von zwei Variablen oder auch der Effekt von einer Variablen auf eine andere darstellbar ist. Wir sichern deshalb die Aussagen in diesem Buch mit Meta-Analysen ab bzw. weisen darauf hin, wenn keine Meta-Analysen oder transparenten Studien vorliegen. Im Zuge der Meta-Analyse kann auch ein möglicher Publication Bias berechnet werden (Renkewitz & Keiner, 2019), denn wir können davon ausgehen, dass es ein bestimmtes Ausmaß nicht bestätigter Hypothesen gibt und dass diese in einer Verteilung darstellbar sind.

Neben den hier genannten gibt es viele weitere Maßnahmen, die dazu beitragen können, die Qualität von Forschung zu verbessern. Dazu gehören auch Vorgehensweisen wie Replikationen, also Wiederholungsstudien, anhand derer man erkennen kann, ob bestimmte Ergebnisse sich in anderen Kontexten replizieren lassen oder ob sie womöglich nur in ein- und demselben Labor wiederholbar sind. Darüber hinaus müssen auch strukturelle Vorgehensweisen ergriffen werden, um Forschungsqualität zu sichern, z. B. die Anforderung, dass Fachzeitschriften die Veröffentlichung von transparenten Studien fördern und Autor:innen unterstützen, Studien mit nicht bestätigten Hypothesen zu veröffentlichen. Dienlin et al. (2020) haben eine Agenda formuliert, in der die wichtigsten Maßnahmen für transparente Forschung – also »Open Science« – zusammengefasst sind.

Ein wichtiger Teil der Forschungsqualität ist darüber hinaus die Forschungsethik. Viele der ethischen Grundsätze sind reguliert. Die Daten einer Studie müssen beispielsweise im Sinne der Datenschutzgrundverordnung (DSGVO) erhoben, ausgewertet und gespeichert werden, dazu gehört, dass Personen unter 16 Jahren nur mit dem Einverständnis ihrer Eltern befragt werden dürfen. Darüber hinaus gilt es aber, auch solche ethischen Grundsätze zu beachten, die sich erst aus dem spezifischen Studiendesign ergeben. Ethische Erwägungen sind in der Forschung stark prozessorientiert und müssen für jeden Schritt des Forschungsprozesses ( Abb. 2.1) bedacht und immer auch mit den Forschungszielen abgewogen werden. Schlütz und Möhring (2018) geben einen Überblick über diese Schritte, ihre Herausforderungen und Lösungsmöglichkeiten. Dazu gehören beispielsweise die Freiwilligkeit der Studienteilnahme, das Informieren der Teilnehmenden über die Studienziele und der Umgang mit Studienabbrecher:innen (Koch et al., 2019).

Mit Experimenten können Hypothesen geprüft werden, die Ursache-Wirkungsbeziehungen postulieren. Die Hypothese: »Studierende, die vor der Klausur mithilfe einer Meditations-App Achtsamkeitstraining praktizieren, erzielen bessere Klausurergebnisse als Studierende, die diese App nicht nutzen«, beinhaltet, dass das Verhalten vor der Klausur auf die Leistung wirkt, und kann mit einem Experiment untersucht werden. Wir erforschen mit Experimenten Kausalzusammenhänge (Koch et al., 2019).

Als Experiment bezeichnet man ein Forschungsdesign, in dem (1) mindestens eine unabhängige Variable systematisch variiert wird (experimentelle Manipulation), um deren Einfluss auf mindestens eine abhängige Variable zu untersuchen, (2) die Zuweisung der Versuchspersonen zu den Untersuchungsbedingungen per Zufall erfolgt (Randomisierung) und (3) Störfaktoren möglichst ausgeschaltet werden (Kontrolle).

Von der unabhängigen Variable (UV; Reizvariable) wird in der Hypothese angenommen, dass sie die abhängige Variable (AV; Reaktionsvariable) beeinflusst.

Mit der unabhängigen Variable werden verschiedene experimentelle Bedingungen definiert. Im medienpsychologischen Experiment untersucht man vor allem zwei Arten unabhängiger Variablen: Eigenschaften von Medienangeboten (z. B. Unterhaltsamkeit einer Serie) oder psychologische Zustände (z. B. Stimmung). Häufig kommt ein Stimulus zum Einsatz (z. B. ein Medienangebot, ein Werbespot, eine Filmsequenz), dessen Wirkung auf die abhängige Variable (a) direkt gemessen wird oder der (b) psychologische Zustände stimuliert, die dann wiederum auf die AV wirken.

Die abhängige Variable kann mit verschiedenen Methoden gemessen werden. In der medienpsychologischen Forschung untersucht man häufig mithilfe einer Befragung oder Beobachtung das psychologische Erleben und Verhalten: z. B. Einstellung, Erinnerung, Wissen, Emotionen, Leistung oder Aggressivität.

Das Experiment kann unter kontrollierten Bedingungen als Laborexperiment, in einer natürlichen Umgebung als Feldexperiment stattfinden oder als befragungsgestütztes Online-Experiment, in dem die Stimuli den Studienteilnehmer:innen im Rahmen einer Online-Befragung dargeboten werden. Das Laborexperiment stellt die in der obigen Definition genannten kontrollierten Bedingungen her und schließt damit umgebungsbedingte Störfaktoren weitestgehend aus. Feld- und befragungsgestützte Online-Experimente können keine vergleichbaren, kontrollierbaren Umgebungen garantieren, da alle Teilnehmenden in anderen Kontexten am Experiment teilnehmen. Diese Online-Experimente gelten deshalb als Quasi-Experimente. Als Quasi-Experimente bezeichnet man Versuchsanordnungen, die keine Kontrolle einzelner Teile der Versuchsanordnung ermöglichen. Deshalb bezeichnet man auch solche Experimente als Quasi-Experiment, bei denen keine Randomisierung möglich ist. Wenn beispielsweise die Persönlichkeit als unabhängige Variable untersucht wird, so kann keine Randomisierung stattfinden. Ob Menschen eher extravertiert sind oder nicht, können wir messen und sie dann entsprechend ihrer Ausprägungen in zwei oder mehr Gruppen einteilen. Damit entstehen Alternativerklärungen für die Wirkung der Persönlichkeit, denn Extraversion steht eventuell systematisch mit anderen Persönlichkeitseigenschaften in Zusammenhang. Diese systematische Kovariation von Störvariablen mit Untersuchungsvariablen bezeichnet man als Konfundierung.