Wörterbuch der Soziologie

Experimente in der Evaluationsforschung

Ein wichtiges Anwendungsfeld experimenteller Forschung in den Sozialwissenschaften ist die methodisch kontrollierte Evaluationsforschung . Selten kann in Evaluationsstudien (»was bewirkt eine bestimmte Maßnahme«?) ein reines Experiment durchgeführt werden. Etwa ist eine wirkliche Randomisierung auf die Treatment- und Kontrollgruppe nicht möglich. Man spricht dann von sog. Quasi-Experimenten. In der Evaluationsforschung haben sich verschiedene Methoden etabliert, die experimentelle Idealsituation möglichst gut anzunähern. So wird etwa über das sog. Propensity-Matching, eine statistische Technik zur Bildung von Treatment- und Kontrollgruppe, angestrebt, in beiden Gruppen möglichst ähnliche Verteilungen hinsichtlich gemessener Störgrößen zu erreichen. Solche Verfahren waren in den letzten Jahren sehr hilfreich, die Logik experimenteller Designs mit dem Ziel kausalen Schließens auch in der empirischen Soziologie zu verbreiten (Gangl 2010). Hauptprobleme in Evaluationsstudien sind die Selbstselektion in die Treatment- und Kontrollgruppe. Dies kann man sich leicht an Hand der in vielen Universitäten üblichen Evaluation der Lehrveranstaltungen [117]verdeutlichen. Die Studierenden verteilen sich nicht zufällig auf die unterschiedlichen Veranstaltungen. Präferenzen nach Fach bzw. Wahloder Pflichtveranstaltung oder Rahmenbedingungen der Veranstaltungen (Uhrzeit, Gruppengröße, etc.) machen einen Vergleich der Resultate pro Veranstaltung schwierig bis unmöglich.

In der Praxis der (quasi-)experimentellen Forschung muss man sich mit dem Problem der Randomisierungsverzerrung beschäftigen. Es sollte ausgeschlossen sein, dass mit der Teilnahme an der Treatmentgruppe (und nicht durch das Treatment) eine Veränderung gegenüber der Kontrollgruppe einhergeht. Weiterhin sollte vermieden werden, dass Probanden, die der Treatmentgruppe zugeordnet wurden, aus systematischen, also nicht-zufälligen Gründen das Treatment verweigern. Eine Substituierungsverzerrung tritt auf, falls Mitglieder der Kontrollgruppe das nicht erhaltene Treatment ersetzen.

Der Einsatz von Experimenten in der Soziologie

Der vergleichsweise seltene Einsatz von Experimenten in der Soziologie hat mit ihren Forschungsgegenständen zu tun. Die in der Soziologie interessierenden sozialen Prozesse lassen sich vielfach nicht sinnvoll in Laboren nachstellen – etwa wenn es um die Wirkung von Bildung auf berufliche Chancen geht. Selbst wenn man hinsichtlich der institutionellen Variation von Bildungssystemen, in denen Probanden beschult wurden, von einer angenäherten Randomisierung ausgehen könnte (allerdings unter der Annahme: Eltern und ihre Kinder wählen das Bundesland, in dem sie wohnen, nicht nach dem Schulsystem), sind doch zu viele unkontrollierte Faktoren bedeutsam, etwa die wirtschaftliche Situation der Bundesländer, die dadurch ausgelöste regionale Mobilität etc. Oder: Bei der Untersuchung geschlechtsspezifischer Lohnunterschiede kann man nicht davon ausgehen, dass sich Männer und Frauen randomisiert auf unterschiedliche Treatment-Bedingungen verteilen – etwa in den öffentlichen Dienst und die Privatwirtschaft. Es bleiben bei der Auswertung von sog. ex post facto Daten nur die nachträglichen Versuche, die Probleme durch Selektionsprozesse und (beobachtete und unbeobachtete) Störgrößen durch geeignete statistische Verfahren möglichst zu reduzieren bzw. auszuschalten.

Dennoch gibt es neben der verhaltenswissenschaftlichen Ökonomik Bereiche, in denen experimentelle Designs in der empirischen Soziologie an Bedeutung gewinnen. Z. B. integriert man experimentelle Versuchsaufbauten in die Umfrageforschung. In Umfragestudien werden spieltheoretische Experimente integriert (Naef/Schupp 2009). Weiterhin finden sich interessante Studien zu stated preferences in sog. Choice Experimenten. Probanden werden mit hypothetischen Alternativen konfrontiert, die sich hinsichtlich verschiedener Dimensionen systematisch unterscheiden (Auspurg/Liebe 2011). Ähnlich werden in faktoriellen Surveys Situationsbeschreibungen, etwa zur Geltung von Normen und zu Prinzipien von Gerechtigkeit, manipuliert (Jasso 2006). In diesen Anwendungen werden zunächst die Entscheidungsalternativen bzw. Situationsbeschreibungen experimentell variiert, dann erfolgt eine Randomisierung der Entscheidungsalternativen bzw. Situationsbeschreibungen auf die ausgewählten Befragten, die im Idealfall eine Zufallsstichprobe aus der Bevölkerung darstellen. Beide Verfahren können damit die Beschränkungen herkömmlicher Experimente auf die üblichen Probanden vermeiden (Mutz 2011).

Auswertung experimenteller Daten

Die Auswertung von experimentellen Daten ist im Vergleich zu anderen Designs verhältnismäßig einfach (Brown/Melamed 1990; Kirk 1982). Es müssen – sofern echte Experimente vorliegen – keine Drittvariablenkontrollen in komplexen statistischen Modellen eingesetzt werden. Es genügen einfache Test s, etwa Mittelwertvergleiche (sog. T- Test s bei metrischen Variablen). Sofern Daten mittels mehrfaktorieller Designs erhoben wurden, arbeitet man meist mit der Varianzanalyse (ANOVA), um die erwähnten Moderatoreffekte (die Wirkung von T auf Y fällt je nach Ausprägung der Drittvariablen Z anders aus) zu identifizieren und sie besonders anschaulich darzustellen. Bei der Auswertung ist zu beachten, ob vollständig randomisierte Designs oder sog. Blockdesigns umgesetzt wurden. Bei Blockdesigns sind bestimmte Faktoren bewusst nicht randomisiert, die Probanden werden auf Grund von Vorwissen bestimmten Faktorgruppen zugewiesen. Ein Vorteil der Blockbildung liegt in der größeren statistischen Power. Es sind weniger Probanden nötig, um einen Treatmenteffekt statistisch signifikant schätzen zu können. Dies verweist auf die generell von Fisher vorgeschlagene Methode des Signifikanztest s,[118] welche in der großen Mehrheit der experimentellen Forschung Anwendung findet. Wenn eine explizite Null hypothese formuliert wurde, bevor das Experiment geplant und durchgeführt wurde, kann diese Hypothese zwar nicht bestätigt, aber mit einer akzeptablen Irrtumswahrscheinlichkeit (i. d. R. unter 5 %) zurückgewiesen werden. Die Publikation experimenteller Forschungsergebnisse unterliegt der Gefahr einer Verzerrung. Wann immer die statistische Signifikanz die Chancen der Rezeption der Ergebnisse beeinflusst, liegt ein sog. publication bias vor (Auspurg/Hinz 2011).

Ethische Fragen

An den meisten Experimenten in den Sozialwissenschaften nehmen menschliche Versuchspersonen teil. Damit sind besondere ethische Fragen aufgeworfen. Die empirischen Wissenschaften haben sich auf die Einhaltung eines Ethik-Codex verständigt. Die Teilnahme an Experimenten ist freiwillig, die Probanden willigen explizit in die Teilnahme und die Möglichkeit der Datenauswertungen ein, die Probanden können jederzeit abbrechen, eine angemessene Kompensation für die Teilnahme ist üblich, und die Versuchspersonen dürfen nicht getäuscht bzw. geschädigt werden. Die Einhaltung dieser Anforderungen ist in bestimmten Fällen nicht möglich – gerade in Feldexperimenten oder in der Sozialpsychologie, in der die tatsächlichen Forschungsinteressen mitunter verschleiert werden. Wie man an den bekannten Milgram-Experimenten sieht, liegt in der vorübergehenden Täuschung von Probanden die Chance auf besonderen Erkenntnisgewinn. In solchen Fällen sind Beratungen von Ethik-Kommissionen vorgesehen und für die Teilnehmer an den Experimenten immerhin eine nachträgliche Aufklärung.

Literatur

Angrist, Joshua; Evans, William N., 2005: Children and their parents’ labor supply: Evidence from exogenous variation in family size; in: American Economic Review 88, 450–477. – Aronson, Joshua et al., 1999: When White Men Can’t Do Math: Necessary and Sufficient Factors in Stereotype Threat; in: Journal of Experimental Social Psychology 35, 29–46. – Auspurg, Katrin; Hinz, Thomas, 2011: What Fuels Publication Bias? Theoretical and Empirical Analyses of Risk Factors Using the Caliper-Test; in: Journal of Economics and Statistics 235, 630–660. – Auspurg, Katrin; Liebe, Ulf, 2011: Choice Experimente und die Messung von Handlungsentscheidungen in der Soziologie; in: Kölner Zeitschrift für Soziologie und Sozialpsychologie 63, 301–314. – Brown, Steven R.; Melamed, Lawrence E., 1990: Experimental Design and Analysis, Newbury Park. – Fehr; Ernst; Gintis Herbert, 2007: Human Motivation and Social Cooperation: Experimental and Analytical Foundations; in: Annual Review of Sociology 33, 43–64. – Fischer, Ronald A., 1935: The Design of Experiments, Oxford. – Gangl, Markus, 2010: Causal Influence in Sociological Research; in: Annual Review of Sociology 36, 21–47. – Jasso, Guillermina, 2006: Factorial Survey Methods for Studying Beliefs and Judgments; in: Sociological Methods & Research 34, 334–423. – Kirk, R. E., 1982: Experimental Design. Procedures for the Behavorial Sciences, 2. Aufl., Belmont. – Milgram, Stanley, 1963: Behavorial Study of Obedience; in: Journal of Abnormal and Social Psychology 67, 371–378. – Milgram, Stanley, 1982: Das Milgram Experiment. Zur Gehorsamsbereitschaft gegenüber Autorität, Rowohlt (zuerst: Obedience to Authority. An Experiment View, New York, 1974). – Mutz, Diana C., 2011: Population Based Survey Experiments, Princeton. – Naef, Michael; Schupp, Jürgen, 2009: Measuring Trust. Experiments and Surveys in Contrast and Combination, SOEP Papers 167, Berlin. – Pager, Devah; Sheperd, Hana, 2008: The Sociology of Discrimination: Racial Discrimination in Employment, Housing, Credit, and Consumer Markets; in: Annual Review of Sociology 34, 181–209. – Salganik, Matthew J. et al., 2006: Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market; in: Science 311, 854–856.