Heymo Böhler - Marktforschung

Bei Store-Tests und lokalen Testmärkten können Störeinflüsse durch Kooperation mit den beteiligten Handelsbetrieben minimiert werden. Außerdem haben sie gegenüber Laborexperimenten den Vorteil einer größeren Realitätsnähe. Ferner sind Store-Tests und lokale Testmärkte nahezu ebenso schnell, flexibel und kostengünstig durchzuführen wie Laborexperimente. Allerdings können im lokalen Testmarkt nur Güter des täglichen Bedarfs mit hoher Kauffrequenz getestet werden. Demgegenüber bieten sich Store-Tests auch für Produkte an, die nur in größeren Intervallen gekauft werden, weil hier eine höhere Fallzahl an Kaufakten vorliegt. Nachteile von Store-Tests und lokalen Testmärkten sind jedoch vor allem die mangelnde Überprüfbarkeit der Händlerreaktionen, die oftmals ausschlaggebend für den Einführungserfolg sind, sowie die atypische Mediensituation, sofern z. B. keine Fernsehspots getestet werden können.

Im Laborexperiment hingegen lassen sich mögliche Störeinflüsse (Konkurrenzaktivitäten, zusätzliche Aktivitäten des Handels, Darbietung im Regal, unterschiedliche Betriebsgrößen) besonders gut ausschalten. Des Weiteren kann das Laborexperiment geheim, relativ schnell, flexibel hinsichtlich des Instrumenteinsatzes und relativ kostengünstig (im Vergleich zu regionalen Marktexperimenten) abgewickelt werden. Nachteilig sind die zumeist kleinen Stichproben sowie auftretende Testeffekte, da sich die Versuchspersonen u.U. im Labor anders verhalten als in der Realität (z. B. größere Preissensibilität).

In vielen Veröffentlichungen zur Wahl zwischen Markt- und Laborexperiment (vgl. u. a. Hermanns 1979, S. 55 f.) wird vereinfachend behauptet, dass Marktexperimente zwar eine niedrigere interne Validität als Laborexperimente aufweisen, jedoch wegen ihrer höheren externen Validität vorzuziehen seien.

Der Begriff der externen Validität bezieht sich auf die Generalisierbarkeit (Repräsentativität) der Experimentergebnisse. Externe Validität liegt vor, wenn die im Experiment festgestellten Zusammenhänge auch in anderen Situationen erwartet werden können (vgl. Cook und Campbell 1979, S. 39). Interne Validität ist dagegen gegeben, wenn die rechnerisch festgestellte Differenz der abhängigen Merkmale einzig und allein auf den Experimentfaktor zurückzuführen ist (vgl. Campbell und Stanley 1966, S. 174 ff.).

Diese Argumentationsweise übersieht, dass zwischen interner und externer Validität eine »asymmetrische« Beziehung besteht (vgl. Zimmermann 1972, S. 79). Mit anderen Worten, wenn ein Experiment extern valide sein soll, so muss zuvor die Bedingung der internen Validität erfüllt sein, d. h. ohne interne keine externe Validität. Wenn z. B. in einem Store-Test die Verkäufer in den Experimentgeschäften durch Hinweise auf die Preiswürdigkeit des Artikels den Absatz forcieren, so wird das verzerrte Ergebnis nicht dadurch besser, dass es in einem natürlichen Umfeld gewonnen wurde. Marktexperimente weisen somit nur dann externe Validität auf, wenn durch Kontrolle der Störfaktoren ein ausreichendes Maß an interner Validität erreicht werden kann. Ist dies nicht oder nur unter hohen Kosten möglich, so ist das Laborexperiment vorzuziehen, zumal auch im Labor durchaus eine weitgehend »natürliche« Umweltsituation geschaffen werden kann (vgl. hierzu insbesondere Zimmermann 1972, S. 195 f. und Abb. 13).

In den letzten Jahren konnte zudem verstärkt beobachtet werden, dass die Datenerhebung bei fast allen vorgestellten Experimentarten immer häufiger internetbasiert stattfindet, d. h. dass sog. Online- Experimente auf dem Vormarsch sind. Diese Experimentierform bietet sich natürlich zunächst einmal dann an, wenn das zu untersuchende Kauf- und Nutzungsverhalten sich sowieso weitgehend im Internet abspielt. Man denke an das Nutzungsverhalten von Webseiten, an Kaufaktivitäten in Online-Shops oder die Wirkung alternativer Werbemittel bei der Banner-/Display- und Suchmaschinenwerbung. Die Vorteile sind in diesem Fall offensichtlich (vgl. z. B. Baier und Rese 2020b): Man kann über Online-Access-Panels oder über A/B-Tests auf der eigenen Webseite schnell und mit wenig Aufwand randomisiert große Experiment- und Kontrollgruppen mit gewünschten Quoten erreichen und interessierende Kenngrößen (z. B. Verweildauern oder Konversionsraten) bzw. die Wirkung verschiedener Alternativen leicht ermitteln. Kohavi und Longbotham (2016) weisen darauf hin, dass Tech-Konzerne wie Alphabet/Google, Amazon, Facebook, LinkedIn oder Microsoft jährlich mehrere Tausend Online-Experimente in Form randomisierter A/B-Tests durchführen, um neue Such- und Personalisierungsmöglichkeiten oder neue Interaktions- und Empfehlungsformate zu überprüfen.

Auch bei Untersuchungsgegenständen ohne direkten Internetbezug werden Online-Experimente immer beliebter. So bieten die weiter oben genannten Anbieter von Testmarktsimulationssystemen inzwischen alle auch kostengünstige Tests an, bei denen mit Hilfe von Online-Access-Panels Stichproben von Auskunftspersonen kontaktiert und befragt werden. Der Home-Use-Test der Neuprodukte erfolgt dabei mit Hilfe einer Zusendung und Erprobung des Neuprodukts zwischen zwei (Online-Befragungs-)Terminen. Auch Online-Access-Panels wie z. B. InnoFact ( https://innofact-marktforschung.de/loesungen/home-use-test/) oder SIS International ( https://www.sisinternational.com/solutions/qualitative-quantitative-research-solutions/in-home-use-tests-ihuts/) bieten derartige In-Home-Use-Tests als Online-Experiment an.

Arechar et al. (2018) weisen am Beispiel stärker grundlagenorientierter, spieltheoretischer Experimente nach, dass die bei Online-Experimenten deutlich höheren Verweigerungs- und Abbruchquoten ebenso wie die letztendlich unkontrollierte Erhebungssituation die Validität der Messung negativ beeinflussen kann. Auch bei Selka und Baier (2014) sowie Baier und Kurz (2021) zeigte sich bei der Auswertung von insgesamt 3.883 kommerziellen Conjoint-Experimenten aus den Jahren 2002 bis 2020, dass die interne und externe Validität der Studien parallel zum Übergang von anfangs fast ausschließlich Laborexperimenten zu heute fast ausschließlich Online-Experimenten unter Verwendung von Online-Access-Panels abgenommen hat.

Die bisherigen Ausführungen gingen vom häufigsten Fall aus, dass einer explorativen Vorstudie eine deskriptive bzw. (quasi-)experimentelle Hauptstudie folgt.

Selbstverständlich kann es auch zu umgekehrten Abfolgen kommen (vgl. auch Iacobucci und Churchill 2018, S. 92). So können z. B. die Ergebnisse einer deskriptiven Hauptstudie aufzeigen, dass es zu beträchtlichen Abwanderungen der eigenen Zielgruppe zu Konkurrenzprodukten gekommen ist. Eine explorative Studie kann dann mithilfe von Fokus-Gruppen-Interviews u.U. aufdecken, welche Ursachen dafür infrage kommen. Ähnlich ist vorzugehen, wenn sich z. B. in einem Laborexperiment das zu überprüfende Produkt als Flop erweist und mittels Brainstorming von Experten nach einem verbesserten Konzept gesucht wird.

Eine ähnliche Relativierung ist auch hinsichtlich der Untersuchungsmethoden zu machen. Zwar überwiegen in der explorativen Forschung die »qualitativen« Methoden (Tiefen- und Gruppeninterview, Sekundärforschung etc.), doch können auch hier quantitative Auswertungen vorgenommen werden (z. B. eine Faktorenanalyse von Itembatterien zur Reduktion des Fragebogenumfangs in der Hauptstudie). Umgekehrt kommen auch »quantitative« Methoden in der deskriptiven und experimentellen Forschung häufig nicht ohne parallele bzw. nachgelagerte qualitative Analysen aus (z. B. die inhaltliche Interpretation der Dimensionen von Positionierungsmodellen, die anhand von Faktorenanalysen bzw. mittels nichtmetrischer mehrdimensionaler Skalierung gewonnen wurden oder die Entwicklung der Marketing-Instrumente zur Bearbeitung eines anvisierten Idealproduktsegments durch Experten).