Demgegenüber steht das sogenannte alternative Modell, bei dem (in Übereinstimmung mit der dualen Theorie nach Paivio) von einem „eigenständigen Repräsentationssystem für akustische und visuelle Prototypen“ (Gilmozzi 2002, 156) ausgegangen wird, bei dem Wort- und Bildstimuli im Zuge zentraler Prozesse (Stufe 2) zwar gemäß ihrer Modalität verarbeitet werden, jedoch durchaus miteinander in Verbindung treten können. Das Modell stellt somit einen Kompromiss zwischen der dualen und der monistischen Theorie dar (cf. Stachelscheid/Testrut 1997, 37). Es findet Unterstützung durch jüngste wissenschaftliche Erkenntnisse (cf. Abb. 6).
(S)= Sprachliche Information, (B)= Bildliche Information
Abb. 6: Drei Grundmodelle audiovisueller Informationsverarbeitung modifiziert nach Stachelscheid/Testrut (1997, 37)
Unter Berücksichtigung der konzeptuellen Nähe zwischen eingegangenen und vorhandenen Informationen unterscheidet Ballstaedt ferner zwischen drei Arten audiovisueller Integration, deren Verarbeitung an das jeweils vorliegende Verhältnis zwischen Text und Bild anschließt und über die Komplexität der geforderten Denkleistungen bestimmt. Diese umfassen Integration durch (1) Redundanz, (2) Komplementarität und (3) Inferenz.
Während bei redundanten Text-Bild-Beziehungen eine Aktivierung über das gleiche Konzept erfolgt, setzt die Integration durch Komplementarität voraus, dass mittels Text und Bild zwar unterschiedliche Konzepte angeregt werden, diese jedoch zueinander in Verbindung stehen und sich zu einer Botschaft ergänzen. Bei der Integration durch Inferenz findet die Integration hingegen erst durch die Aktivierung unterschiedlicher Konzepte im amodalen System statt, aus denen dann Schlussfolgerungen gezogen werden können. Bei den genannten Integrationsarten ist zu berücksichtigen, dass sie mit jeweils unterschiedlichem Vorwissen und einem unterschiedlichen Maß an Verarbeitungsaufwand verbunden sind, zumal inferente Text-Bild-Beziehungen weitaus komplexer sind als bei vorliegender Redundanz oder Komplementarität (cf. Ballstaedt 1988, 10sqq.).
Prinzipiell bedeutet der Einsatz audiovisueller Medien eine erhöhte Informationsdichte und folglich eine komplexere Verarbeitung gegenüber der einkanaligen Informationsaufnahme. Um der Gefahr einer Überforderung entgegenzuwirken, greift das menschliche Gehirn auf verschiedene Strategien zur Selektion von Informationen zurück, dank derer wir trotz Informationsfülle handlungsfähig bleiben (cf. ibid. 21sq.). Diese werden nachstehend erläutert.
3.2 Wahrnehmung als komplexer Prozess: Selektionsmechanismen und Aufmerksamkeitslenkung
In Ergänzung zu den Überlegungen des vorangehenden Kapitels geht die kognitive Theorie des multimedialen Lernens nach Mayer (2001, 43) davon aus, dass die Rezeption und Verknüpfung audiovisueller Inhalte dreierlei Maximen unterliegen. Diese umfassen die Prinzipien der dualen Kodierung, die eines begrenzten Arbeitsspeichers und die der aktiven Informationsverarbeitung.
Mayers Theorie basiert auf der Annahme, dass sprachliche und bildliche Informationen gemäß ihrer Sinnesmodalität automatisch getrennt voneinander aufgenommen werden, wobei Wörter im Gegensatz zu Bildern sowohl über die Augen als auch über die Ohren wahrgenommen werden können. Folglich können die Sinneskanäle durchaus interagieren. Dies ist etwa der Fall bei in Bildern oder Filmen auftauchenden Schriftzügen, deren Repräsentation zunächst anhand des visuellen und schließlich anhand des auditiven Kanals erfolgt. Gleiches gilt für erfahrene Lerner bei der mentalen akustischen Artikulation visueller Reize und vice versa .
In diesem Zusammenhang spielt die begrenzte Kapazität des menschlichen Arbeitsspeichers eine wichtige Rolle. Mit Verweis auf die cognitive load theory schreiben Wissenschaftler wie Baddeley, Chandler und Sweller unserem Gehirn ein limitiertes Maximum an Informationsverarbeitung pro Sinneskanal zu. Infolgedessen werden die eingegangenen Informationen einer Selektion unterzogen. Bei der Selektion handelt es sich um einen aktiven Prozess, bei dem relevante Informationen herausgefiltert werden. Der Abgleich und die Organisation bereits vorhandener bzw. gespeicherter Informationen mit neuen Reizen mündet in der Integration bildlicher und sprachlicher Konzepte. Ziel ist die mentale Repräsentation und Konstruktion kohärenter Sinneinheiten unter Rückgriff auf Informationen aus dem Langzeitgedächtnis. Sie gelten als Voraussetzung für erfolgreiches Lernen (cf. Mayer 2001, 46sqq.).
Die beschriebenen Vorgänge können dem von Mayer (2001, 44) entwickelten Modell zur kognitiven Theorie multimedialen Lernens, ebenfalls bekannt als S-O-I Modell ( Selection – Organization – Integration ), nachempfunden werden (cf. Abb. 7). Sie wiederholen sich viele Male während der Rezeption audiovisueller Medien.
Abb. 7: Theorie multimedialen Lernens nach Mayer (2001, 44)
Dass es sich bei der Wahrnehmung um einen komplexen und produktiven Prozess handelt, liegt nicht zuletzt darin begründet, dass höhere Verarbeitungsprozesse in Form von Korrekturmechanismen vermutlich versuchen, Merkmale und Eigenschaften, die bei der visuellen Informationsübertragung verloren gingen oder verändert wurden, nachträglich wiederherzustellen. Dies hängt zum einem mit der eigenen physischen Raumposition und Schwerkraftwirkung zusammen, zum anderen mit der Informationsübertragung auf das Netzhautbild (cf. Kebeck 1994, 164).
Fest steht, dass gerade bei der Wahrnehmung uneindeutiger Reizvorlagen (wie etwa einer unleserlichen Handschrift) der unmittelbar gegebene Kontext eine entscheidende Rolle für die Interpretation spielt. Aber auch sonst haben unser Vorwissen bzw. unsere gewohnte Kontexterwartung und -erfahrung einen erheblichen Einfluss auf unsere Wahrnehmung. Hintergrund ist der, dass wahrgenommene Bildinformationen Hypothesen stimulieren, die mit unseren bisherigen Erfahrungen abgeglichen werden, sodass aus den visuellen Reizen schließlich plausible Schlüsse gezogen werden können.
Dies führt sogar so weit, dass fehlende oder fehlerhafte Elemente des Bildinhalts vom Gedächtnis durch Kontextwissen ergänzt, vernachlässigt oder übergangen werden. Die visuelle Datenverarbeitung unterliegt demzufolge neben der Korrektur auch der Selektion und kognitiven Prozessen der Interpretation (cf. ibid. 196sqq.). Besonders deutlich werden die genannten Korrekturmechanismen bei optischen Täuschungen. Betrachtet man die folgende Abbildung, ist unklar, wie viele Beine der dargestellte Elefant hat, obwohl der Rückgriff auf unser Weltwissen eine klare Anzahl an Beinen vorsieht (cf. Abb. 8).
Abb. 8: Optische Täuschung: Wie viele Beine hat der Elefant? (Mißfeldt 2012, http://www.sehtestbilder.de/optische-taeuschungen-illusionen/, 20.3.2013)
Ein erfolgreiches Dekodieren und Interpretieren visueller Reize setzt gleichermaßen voraus, dass bei informationsreduzierten Bildern ausreichend charakteristische Merkmale erkennbar sind, anhand derer auf das Ganze geschlossen werden kann. Im Gegensatz dazu werden bei visueller Reizüberflutung in der Regel nur die Elemente gespeichert, die dem Betrachter interessant und neuartig erscheinen. Aufmerksamkeitserregend sind daher vor allem ungewöhnliche Montagen aus Bildern und/oder Texten, die ihrem herkömmlichen Kontext entrissen wurden, aber dennoch einen Bezug zur eigenen Lebenswelt aufweisen (cf. Sass 2007, 6).
Читать дальше