Heymo Böhler - Marktforschung

Die Vorher-Nachher-Messung mit Kontrollgruppe wird oft als das klassische Experimentdesign bezeichnet. Bei diesem Design wird neben der Experimentgruppe (EG) eine Kontrollgruppe (KG) eingeführt, die der Experimentgruppe möglichst gleicht.

Nun wird nur die Experimentgruppe dem experimentellen Stimulus (z. B. der neuen Verpackung) ausgesetzt, die Kontrollgruppe aber nicht (dies ist auch so zu verstehen, dass der »Kontrollgruppe« die alte Verpackung präsentiert wird). Der Versuchsplan hat damit folgendes Aussehen:

Die Logik des klassischen Experimentdesigns wird durch folgenden Gesichtspunkt bestimmt (vgl. hierzu Zimmermann 1972, S. 58 ff.): Wenn man auch nicht die Einflüsse von Störgrößen im Einzelnen genau quantifizieren oder gar verhindern kann, so schlagen sie sich gleichermaßen in der Experiment- und in der Kontrollgruppe nieder. Die Differenz M 2− M 1enthält daher den Einfluss des Experimentierfaktors X und die Einflüsse der teils bekannten, teils unbekannten Störgrößen, die hier mit A, B, C, …, Z bezeichnet werden sollen. Das heißt bei Annahme einer additiven Verknüpfung der Einflüsse gilt:

In der Kontrollgruppe werden jedoch nur die Störeinflüsse wirksam:

Die Wirkung des Experimentfaktors X kann dann einfach dadurch ermittelt werden, dass man die Differenz der Kontrollgruppe von der Differenz der Experimentgruppe abzieht:

Ein Beispiel soll die bisherigen Ausführungen erläutern: Um den Einfluss einer 10 %-igen Preissenkung auf den Marktanteil eines Fruchtsaftgetränks festzustellen, wird in einer Experimentgruppe von 10 Lebensmittelgeschäften die Marke zum niedrigeren Preis (X) und in 10 weiteren Lebensmittelgeschäften (der Kontrollgruppe) weiterhin zum alten Preis angeboten. Vor Durchführung des Experiments werden in der Experiment- und in der Kontrollgruppe die im letzten Monat erzielten Marktanteile des Fruchtsaftgetränks ermittelt (M 1und M 3). Nach Durchführung des einmonatigen Experiments werden wiederum Marktanteile erfasst (M 2und M 4). In der Zwischenzeit haben jedoch mehrere Störfaktoren gewirkt: Durch Distributionsschwierigkeiten war die Konkurrenzmarke B eine Zeitlang nicht lieferbar. Konkurrent C versuchte, seinen Absatz durch verstärkte Werbung und Verkaufsförderung zu beleben und für Konkurrenzmarke D wurde eine nationale Preisaktion gestartet. Da jedoch alle Störungen sowohl auf die Experiment- als auch auf die Kontrollgruppe gleichermaßen einwirkten, lässt sich die durch die Preissenkung hervorgerufene Änderung des Marktanteils durch die Differenzbildung herausrechnen. Die Messungen der Marktanteile in den Monaten vor (M 1und M 3) und nach erfasst (M 2und M 4) der Preissenkung um 10 % (X) ergeben:

Experimentwirkung:

Da Störgrößen in der Kontrollgruppe zu einem Marktanteilsrückgang von 2,5 % geführt haben und anzunehmen ist, dass hiervon auch die Experimentgruppe betroffen wurde, ist die Wirkung der Preissenkung auf den Marktanteil letztlich 5,5 %.

Die Heranziehung einer Kontrollgruppe reicht jedoch noch nicht aus, um eine unverzerrte Ermittlung der Experimentwirkung zu gewährleisten. Voraussetzung ist zusätzlich, dass Experiment- und Kontrollgruppe sich strukturell nicht unterscheiden. Im obigen Beispiel wäre dies jedoch der Fall, wenn in der Experimentgruppe nur kleine Fachgeschäfte vertreten sind, die für ihren Service, aber auch für ihre etwas höheren Preise bekannt sind. Befinden sich demgegenüber in der Kontrollgruppe mehrere Supermärkte, so sind die Gruppen nicht vergleichbar, und das ermittelte Experimentergebnis ist verzerrt.

Um solche Verzerrungen auszuschließen, wird im Experiment soweit wie möglich das Zufallsprinzip (auch Randomisierung genannt) angewandt. Dies bedeutet:

• alle Testeinheiten (Personen, Geschäfts-, Verkaufsbezirke usw.) sind nach dem Zufallsprinzip auszuwählen,

• die Testeinheiten sind nach dem Zufallsprinzip auf die Gruppen zu verteilen,

• schließlich ist nach dem Zufallsprinzip zu bestimmen, welche Gruppe(n) dem Experimentstimulus auszusetzen sind und welche als Kontrollgruppe(n) dienen (vgl. Kerlinger 1973, S. 323).

Durch die Randomisierung wird bewirkt, dass sich Experiment- und Kontrollgruppe in allen relevanten Merkmalen bis auf zufällige Abweichungen gleichen. Die obige Notation ging bisher jedoch von einer deterministischen Betrachtung aus. Im konkreten Fall liefert die beobachtete Differenz (M 2− M 1) − (M 4− M 3) nur einen Schätzwert für die tatsächliche Experimentwirkung X, der noch mit einem Zufallsfehler behaftet ist (nach Hammann und Erichson 2006, S. 187):

Es genügt daher nicht, das Experimentergebnis nur im Wege der Differenzermittlung festzustellen. Zusätzlich ergibt sich die Notwendigkeit, durch statistische Tests zu überprüfen, ob das Experimentergebnis signifikant ist oder nicht. Zu diesem Zweck stehen verschiedene statistische Verfahren wie der t-Test für die Differenz zweier Mittelwerte oder die Varianzanalyse zur Verfügung.

Jedoch lässt sich die Frage stellen, warum bei randomisierter Gruppenbildung überhaupt eine Vorher-Messung stattfindet, da die Zufallsauswahl ja bis auf den Zufallsfehler gewährleisten soll, dass sich M 1und M 3nicht unterscheiden. Es würde daher genügen, die Differenz M 2− M 4zu bilden, um eine von Störfaktoren bereinigte Experimentwirkung zu schätzen.

Die Vorher-Messung hat jedoch einige Vorteile: Durch sie lässt sich zunächst einmal die erfolgte Stichprobenbildung überprüfen, indem festgestellt wird, ob die Experiment- und die Kontrollgruppe hinsichtlich der abhängigen Merkmale tatsächlich gleich sind. Liegen noch Unterschiede vor, so lässt sich die Experimentwirkung trotz unterschiedlicher Ausgangspositionen exakt ermitteln. Mitunter ist eine Vorher-Messung auch erforderlich, um festzustellen, ob überhaupt noch eine Experimentwirkung auftreten kann. Soll z. B. die Erinnerungswirkung einer neu konzipierten Werbemaßnahme geprüft werden und ist nahezu allen Versuchs- und Kontrollpersonen der Markenname ohnehin schon bekannt, so kann auch die vorgesehene Experimentwirkung nicht mehr auftreten. In diesem Fall ist entweder dafür zu sorgen, dass sich in den Gruppen Personen befinden, bei denen noch eine Experimentwirkung im Sinne des zu erhebenden Erfolgskriteriums stattfinden kann oder es ist ein anderes Wirkungskriterium zu suchen.

Allerdings kann, gerade bei Personen als Testeinheiten, durch die Vorher-Messung eine Sensibilisierung der Versuchspersonen ausgelöst werden, durch die die Experimentergebnisse verzerrt werden (sog. Testeffekt). Wenn durch dieses Design z. B. die Wirkung eines neuen Werbespots für Shampoo überprüft werden soll, so veranlassen die dem Stimulus vorhergehenden Fragen zur Markenkenntnis oder zur Einstellung gegenüber Shampoomarken oder auch zu Kaufabsichten die Aufmerksamkeit der Auskunftspersonen gegenüber Werbeanzeigen für Shampoo. Die hinterher gemessene Wirkung des Werbespots ist daher verzerrt, d. h. zu hoch. In diesen Fällen sollte besser ein anderes Experimentdesign wie die Nachher-Messung mit Kontrollgruppe gewählt werden.