Heymo Böhler - Marktforschung

Werden zweifaktorielle Designs bei r Stufen des ersten und s Stufen des zweiten Faktors angewandt, so liegt ein r × s-faktorielles Design vor. Des Weiteren können auch drei oder mehr Experimentierfaktoren mit mehreren Stufen herangezogen werden. Hier zeigen sich jedoch die Grenzen dieser Versuchsanordnung: Mit zunehmender Anzahl der Experimentierfaktoren und ihrer Ausprägungen steigt die Gruppenanzahl rasch an. Es bereitet dann erhebliche Schwierigkeiten, eine gleiche Gruppenbesetzung bei gleichzeitiger Anwendung des Zufallsprinzips zu gewährleisten. Zudem sind häufig einige Kombinationen nicht von Interesse (z. B. exklusive Packung bei niedrigem Preis). In diesen Fällen ist zu überprüfen, ob die Anwendung anderer Designs (sog. unvollständiger Designs mit verringerter Anzahl der getesteten Kombinationen) sinnvoller ist.

Die bisherigen Versuchspläne waren dadurch gekennzeichnet, dass der Experimentator die Experimentfaktoren variierte, Kontrollgruppen einsetzte und die Gruppen nach dem Zufallsprinzip bildete. Häufig sind derartige weitreichende Kontrollen in der Marktforschung jedoch nicht möglich. Nach Campbell/Stanley (1966, S. 210 ff.) werden Versuchsanordnungen, für die eine oder mehrere der nachfolgend genannten Bedingungen zutreffen, als Quasi-Experimente bezeichnet (vgl. auch Kerlinger 1973, S. 314 f., Zimmermann 1972, S. 120, Iacobucci und Churchill 2018, S. 104 ff.):

• Es besteht keine Kontrolle über den Experimentfaktor;

• die Testeinheiten können nicht nach dem Zufallsprinzip ausgewählt bzw. auf die Gruppen verteilt werden;

• die experimentelle Behandlung kann nicht per Zufallsprinzip den Gruppen zugewiesen werden;

• es gibt keine Kontrollgruppe.

Quasi-Experimente weichen demnach nur graduell von echten Experimenten im Hinblick auf das Ausmaß der Kontrolle ab. Dabei ist es eine Frage der Konvention, wie weitreichend derartige Kompromisse sein dürfen, um noch von einem Quasi-Experiment sprechen zu können. Auf keinen Fall zählen Versuchsanordnungen dazu, in denen praktisch keinerlei Kontrolle ausgeübt wurde. Insbesondere wird nicht der von Behrens (1966, S. 71 ff.) eingeführten Terminologie gefolgt, wonach auch für die Kontrolle von Störfaktoren völlig ungeeignete Versuchsanordnungen, wie etwa die einmalige Messung bei einer Experimentgruppe als »Experimente« bezeichnet werden.

Im Folgenden werden nur einige typische quasi-experimentelle Designs skizziert (zur Weiterführung vgl. Campbell und Stanley 1966, Zimmermann 1972, S. 119 ff. und S. 130 ff.).

Zunächst sind die quasi-experimentellen Varianten »echter« Experimente zu erwähnen. Hierunter fallen die »Vorher-Nachher-Messung mit Kontrollgruppe«, die »Nachher-Messung mit Kontrollgruppe«, das »Solomon-Vier-Gruppen-Design« und die »faktoriellen Designs«, wenn im Unterschied zu den »echten« Experimentanordnungen auf die Randomisierung verzichtet werden musste. Insbesondere bei Marktexperimenten tritt dieser Fall häufig auf, wenn z. B. die Wirkung einer Preisänderung oder einer Verkaufsförderungsmaßnahme in einem Absatzgebiet getestet wird und ein anderes Absatzgebiet als Kontrollgruppe fungiert. Die Vergleichbarkeit der Gruppen kann dann dadurch angestrebt werden, dass man Gebiete auswählt, die im Hinblick auf die Bevölkerungsmerkmale, die Handelsstruktur, das Konkurrenzangebot etc. weitgehend identisch sind (Matching). Ein weiteres Beispiel stellen Laborexperimente mit sehr kleinen Personenzahlen dar. Da Zufallsauswahlen hier nicht mehr die Vergleichbarkeit der Gruppen gewährleisten können, ist ebenfalls das Matching anzuwenden.

Allerdings kann man dennoch nicht sicher sein, dass alle Störgrößen ausgeschlossen wurden. Beispiele bei Marktexperimenten sind regional unterschiedliche Reaktionen auf den Experimentstimulus, unterschiedliche Konkurrenz- und Handelsaktivitäten usw. (zu den Möglichkeiten des Gruppenvergleichs bei fehlender Randomisierung vgl. Anderson et al. 1980, S. 69 ff. und S. 261 ff., zu Labor- und Marktexperimenten vgl. den folgenden Abschnitt).

Bei der Vorher-Nachher-Messung mit unterschiedlichen Gruppen findet zwar eine Randomisierung der Gruppen statt, doch erfolgen die Messungen bei zwei verschiedenen Gruppen.

Die Experimentwirkung wird als Differenz der Vorher-Nachher-Messung der zwei verschiedenen Gruppen berechnet:

Diese Versuchsanordnung bietet sich bei Marktexperimenten an, in denen keine vergleichbare Region als Kontrollgruppe herangezogen werden kann. Bevor der Experimentfaktor eingesetzt wird (z. B. eine Werbekampagne), wird eine repräsentative Stichprobe gezogen und das abhängige Merkmal (z. B. Bekanntheitsgrad einer Marke) gemessen (M 1). Nach dem Einsatz des Experimentfaktors erfolgt bei einer erneuten Stichprobe eine zweite Messung (M 2).

Der Vorteil besteht bei dieser Anordnung in der Vermeidung des Testeffekts. Die Zuverlässigkeit dieses Designs hängt einerseits von der Vergleichbarkeit der Gruppen ab. Zudem können zwischenzeitlich mehrere Störfaktoren wirksam gewesen sein, die nicht kontrolliert wurden, da vorher und nachher keine parallelen Kontrollmessungen erfolgten.

Die quasi-experimentelle Anordnung des Zeitreihendesigns entspricht im Prinzip der Zeitreihenanalyse, wobei im Unterschied zu dieser zusätzlich ein experimenteller Stimulus eingeführt wird:

Die Messungen M 1bis M 8sind Beobachtungswerte der interessierenden abhängigen Merkmale (z. B. Absatzmengen), die in gleichbleibenden Abständen erhoben werden (z. B. durch Panels). Ausgangspunkt dieses Designs ist die Überlegung, dass sich alle Einflüsse auf die Abhängige in einem charakteristischen Muster der Zeitreihe niederschlagen. Die Wirkung der experimentellen Behandlung kann dann gewissermaßen als »Strukturbruch« der Zeitreihe erkannt werden. Bleibt er aus, so hat der Experimentfaktor keine Wirkung gehabt.

Eine typische Anwendung des Zeitreihendesigns liegt vor, wenn Marketing-Maßnahmen auf einem regionalen Testmarkt überprüft werden und die erforderlichen Daten aus Panelunterlagen entnommen werden.

Der quasi-experimentelle Charakter des Designs ergibt sich daraus, dass es normalerweise an der Zufallszuweisung der Testeinheiten zur experimentellen Behandlung und an der Kontrolle der im Zeitablauf wirkenden Störeinflüsse anhand einer Kontrollgruppe fehlt (soll ein vergleichbares Testgebiet als Kontrollgruppe herangezogen werden, so kann die Gruppenvergleichbarkeit durch das Matching einiger wichtiger Merkmale überprüft werden).

Störeinflüsse und Experimentwirkung versucht man nun durch das Instrumentarium der Zeitreihenanalyse zu separieren (z. B. durch Trendextrapolation, Regressionsanalyse oder Spektralanalyse). Hierzu ist in Abbildung 12 (nach Campbell und Stanley 1966, S. 38) ein einfaches Beispiel dargestellt.

Der Verlauf bei Fall l zeigt eindeutig eine längerfristige Wirkung des Experimentierfaktors an, während bei Fall 2 nur eine kurzfristige Wirkung vorliegt. Da bei Fall 3 die Erhöhung des Marktanteils mit einer Verzögerung auftritt, ist man nicht sicher, ob dies auf eine zeitverzögerte Wirkung des Experimentfaktors oder auf einen anderen Faktor zurückzuführen ist. Die Fälle 4, 5 und 6 zeigen nach dem Einsatz des Experimentfaktors die gleichen Verlaufsmuster wie zuvor. Es muss daher angenommen werden, dass keine Experimentwirkung gegeben ist.