Mirjam Weder - Schrift - Bild - Ton (E-Book)

Die Auseinandersetzung mit der Multimodalität aus text- und medienlinguistischer Perspektive hat in der deutschsprachigen Linguistik neben anderen Hartmut Stöckl vorangetrieben (vgl. etwa Stöckl 2004a, 2004b, 2008, 2011, 2015, 2016). Stöckl hat sich mit Formen und Funktionen multimodaler Texte sowie mit neuen Anforderungen an die Rezeption – und in etwas geringerem Umfang an die Produktion – multimodaler Texte auseinandergesetzt sowie Analysemodelle zur Beschreibung multimodaler Texte sowie «multimodaler Kompetenz» (Stöckl 2011, S. 45) zur Diskussion gestellt. Etliche Einzeluntersuchungen zu verschiedenen multimodalen Gattungen haben mittlerweile diese und verwandte Konzepte angewendet und ausdifferenziert und dabei auch andere Modi in den Blick genommen: so etwa Typografie (Stöckl 2004a, Spitzmüller & Antos 2007, Spitzmüller 2010) bzw. Textdesign (Hackl-Rössler 2006, Bucher 2007, vgl. auch die Beiträge im Sammelband Roth & Spitzmüller 2007) oder Musik und Ton für die Analyse von Musikvideos (Jost, Neumann-Braun & Schmidt 2010).

Die deutschsprachige Forschung konzentrierte sich aber bislang auf einige wenige Kontexte. So gibt es viele Untersuchungen zu multimodalen Texten in den Massenmedien (bspw. Blum & Bucher 1998 zu Zeitungstexten; Luginbühl 2011 und Holly 2011 zu Fernsehnachrichten oder der Sammelband von Roth & Spitzmüller 2007). Zu multimodalen Texten in anderen Kontexten wie etwa den sozialen Medien (z.B. Siever 2015), der Werbung (z.B. Held & Bendel 2008), der Wissenschaftskommunikation (z.B. Knoblauch & Schnettler 2007; Liebert 2011, Bucher & Niemann 2015) oder der politischen Kommunikation (z.B. Klemm 2011, Demarmels 2007) liegen bis anhin lediglich Einzeluntersuchungen vor.

Nebst der Text- und Medienlinguistik ist es insbesondere auch die (kritische) Diskursanalyse, welche das Konzept der Multimodalität aufgreift. Im Rahmen der multimodalen Diskursanalyse werden die Konstruktion sozialer Realitäten und Wissensbestände mittlerweile konsequent in allen medialen und modalen Erscheinungsformen untersucht (vgl. Klug 2016, Meier 2011).

Nun liegt der Fokus der text-, medienlinguistischen und diskursanalytischen Untersuchungen vornehmlich auf den multimodalen Kommunikaten selbst. Rezeptions- und Produktionsprozesse im engeren Sinne wurden bis anhin erst vereinzelt untersucht. Rezeptionsprozesse aus medienlinguistischer Perspektive nimmt etwa Bucher mit der Methode des Eye-Trackings und des Lauten Denkens in den Blick, um individuelle Rezeptionsprozesse in multimodalen, nichtlinearen Textkonglomeraten in Zeitungen (print, online, e-paper) nachzuzeichnen (vgl. etwa Bucher 2011a, 2011b, Bucher 2007).

Eine andere Perspektive auf Rezeptionsprozesse nehmen psycholinguistische und lernpsychologische Untersuchungen zum Wissenserwerb aus multimodalen Texten ein. Mittels experimenteller Methoden werden die Prozesse des Textverstehens multimodaler Texte untersucht, um daraus etwa didaktische Folgerungen zur optimalen Gestaltung von Unterrichtsmaterial abzuleiten (vgl. bspw. die Übersicht in Kürschner & Schnotz 2007 oder die Untersuchung von Dittmar et al. 2017 zu Biologielehrmitteln). Besonders im Fokus steht dabei die Frage, wie sich der Einsatz unterschiedlicher Modalitäten auf das Textverstehen und den Wissenserwerb auswirken. So konnte einerseits festgestellt werden, dass Text-Bild-Kombinationen den Wissenserwerb unterstützen können (vgl. die Forschungsübersicht in Anglin, Vaez, & Cunningham 2004; Ballstaedt 2017, S. 155–156; Schüler, Arndt & Scheiter 2019), allerdings nur unter gewissen Bedingungen, z.B. wenn die Informationen redundant in Text und Bild präsentiert werden (Anglin, Vaez, & Cunningham 2004, S. 876). Probleme beim Textverstehen treten dann auf, wenn die Informationen auf Text und Bild aufgeteilt erscheinen, was beim Textverstehen eine höhere kognitive Belastung verursacht, da Informationen aus verschiedenen Quellen integriert werden müssen (vgl. zu diesem sogenannten Split-Attention-Effekt Ayres & Sweller 2005).

Seit dem Aufkommen von mobilen Geräten wie Smartphones gerät zunehmend ein weiteres Phänomen in den Blick: der Second- oder Multi-Screen, d.h. die Verteilung eines Kommunikationsangebots auf verschiedene Mediensysteme, sodass die Nutzer parallel zwei oder gar mehrere Monitore oder Geräte benützen (z.B. in dem sie eine Fernsehsendung via Smartphone kommentieren), vgl. dazu den Sammelband von Göttlich, Heinz & Herbers (2017) oder die Studie zur Beeinträchtigung des Textverstehens von Van Cauwenberge, Schaap & van Roy (2014).

Weitaus weniger Berücksichtigung fanden in der Forschung bis anhin Produktionsprozesse im engeren Sinne. Eine Ausnahme bilden die Studien von Klemm, Perrin & Michel (2016) und Gnach & Perrin (2011), die mittels Schreibprozess-Analyse und ethnografischen Interviews zeigen, wie Sprache, Bild und Ton in der Produktion von Fernsehnachrichten und TV-Programmtrailern kombiniert werden und auf welchen Kriterien Journalisten ihre Entscheidungen basieren. Doch gerade für die Weiterentwicklung der Schreibdidaktik zu einer multimodalen Schreibdidaktik wären Studien zu grundlegenden Prozessen multimodaler Textproduktion nötig.

Der vorliegende Band betrachtet das Phänomen der Multimodalität aus theoretischer und praktischer Perspektive und zeigt, wie sich eine konsequente Berücksichtigung von Schreiben als multimodale Kommunikation auf Anforderungen und Praktiken des Schreibens, v.a. im Hochschulkontext, aber auch in der Grundschule und in der professionellen Kommunikation auswirkt.

Ausgehend von der Prämisse, dass Texte heute immer multimodale Kommunikationsereignisse sind, wird dem kommunikativen Zusammenwirken unterschiedlicher semiotischer Systeme in Texten nachgegangen: Wie gestalten sich multimodale Schreib- und Gestaltungsprozesse? Und welche praktischen Implikationen hat die zunehmende Multimodalität von Texten für die Vermittlung wissenschaftlicher und beruflicher Schreibkompetenz?

Diesem Sammelband zugrunde liegen ausgewählte, mit einem Doppelblind-Verfahren begutachtete Beiträge zur Konferenz Schrift – Bild – Ton. Schreiben als multimodales Ereignis , die im Juni 2018 an der Hochschule Luzern – Wirtschaft (HSLU W) vom Forum wissenschaftliches Schreiben und dem Institut für Kommunikation und Marketing der HSLU W durchgeführt wurde.

Die Beiträge zeichnen sich dadurch aus, dass sie mit unterschiedlichen Textkorpora arbeiten und somit Praktiken in unterschiedlichen Handlungsfeldern zu beleuchten vermögen, in denen multimodale Textproduktion eine bedeutsame Rolle spielt, z.B. unterschiedliche multimodale Textsorten aus den Domänen Hochschule, Wirtschaft und Journalismus.

Ziel der Konferenz wie auch dieses Bandes ist es, theoretische und anwendungsorientierte Positionen zum Thema Schreiben und Multimodalität in einen Dialog zu bringen und fruchtbare Impulse für die Zukunft des Schreibens in Studium und Beruf zu setzen.

Der erste Teil des Sammelbands ist der Multimodalität des Schreibens im Bildungskontext gewidmet.

Arlene Archer beschäftigt sich in ihrem Beitrag mit den sich verändernden Formen des Schreibens in der Hochschulbildung. Den Fokus legt sie dabei auf ein Schlüsselkonzept des akademischen Schreibens: Voice (das sich mit Stimme nur unzureichend ins Deutsche übertragen lässt). Sie untersucht, wie Schreibende durch semiotische Entscheidungen in verschiedenen Modi «authorial engagement» realisieren und wie sie Voice intertextuell konstruieren. Schließlich argumentiert sie für den Nutzen kritischer Metasprachen, um Studierende, Lehrende und Forschende bei der Produktion und Kritik verschiedener Arten von Texten zu unterstützen.

Einer visuellen Seite des multimodalen Schreibens widmen sich Ursina Kellerhals und Vinzenz Rast. Sie fordern, dass an der Hochschule neben Schreiben und Reden auch das Visualisieren gelehrt werden müsse. Visualisieren, so halten sie fest, müsse sich an ein Regelwerk halten und dürfe nicht einfach nur in gefälliger Darstellung bestehen. Als Beispiel für ihre Vorstellung von Vermittlung multimodaler Textkompetenz stellen sie ein Unterrichtsmodul vor mit dem Namen Visual Communication in Corporate Contexts und fokussieren dabei auf didaktische Stolpersteine.