Multimodale Kommunikation – zur Interdependenz von Zeichenmodalitäten im analogen und digitalen Raum

Multimodale Kommunikationsformen sind in den meisten Bereichen des gesellschaftlichen Lebens der Normalfall. Wenngleich bereits in der face-to-face -Kommunikation oder auch in der klassischen Massenkommunikation (Zeitung, Film, Radio, Fernsehen) das Zusammenspiel unterschiedlicher Zeichenmodalitäten und ihre entsprechende Interdependenz gegeben ist, wird dies in der medial vermittelten, digitalen Kommunikation ( social media) nochmals deutlicher sichtbar. Virtuelle Realitäten lassen so Kommunikationsräume der Zukunft erahnen, denen existierende Beschreibungsmodelle noch nicht gerecht werden.

Für auf die Überzeugung des Gegenübers ausgerichtete Diskurse (z.B. politischer oder Werbediskurs) bietet Multimodalität besonderes Potenzial. Die entsprechenden Akteure nutzen in ihrer Kommunikation über die digitalen Medien dabei die Möglichkeiten der Verschränkung der einzelnen Modalitäten z.T. gezielt im Sinne der eigenen kommunikativen Interessen aus. Auch eröffnet die Wechselwirkung zwischen den Modalitäten, der Einsatz von Bildern oder Musik Möglichkeiten der Emotionalisierung, der Inszenierung, des Tabubruchs, die rein sprachbasierte Kommunikation nur bedingt erreichen kann. Vielfach erlaubt die Integration der Zeichenmodalitäten eine Pointierung der Aussage, das Aufrufen abweichender frames; umgekehrt kann etwa im Fall eines bildlichen Elements eine parallel auftretende sprachliche Komponente der Interpretation dienen etc. Diese Interdependenz wird besonders deutlich in Fällen, in denen die Aussage des Kommunikats, z.B. bei Werbeanzeigen, erst durch den konkreten Text-Bild-Bezug erfasst werden kann.

Die Sektion setzt sich zum Ziel, neben der Diskussion semantisch-semiotischer Analysemodelle die semantische und funktionale Verknüpfung sowie die Wechselwirkungen der Modalitäten in unterschiedlichen französischsprachigen Kommunikationsformen, -räumen und Textsorten zu analysieren, mit besonderem Fokus auf Diskursen persuasiven Charakters und unter Berücksichtigung der Spezifik der jeweiligen genutzten medialen Formate. Dabei bieten sich als Themenfelder etwa die Markenkommunikation, der politische sowie der Umweltdiskurs oder auch Multimodalität als Mittel der Partizipation oder Ausgrenzung an. Mögliche Untersuchungsgegenstände können dabei sein:

• die Auseinandersetzung mit verschiedenen Typen des Zusammenspiels der Modalitäten (z.B. komplementär, widersprüchlich, redundant)
• die Beschäftigung mit der Spezifik der Medien (s. z.B. Sprache in Schrift, Rede, Gebärden) unter Berücksichtigung ihrer jeweiligen Funktionsweise im multimodalen Kontext
• Typen lexikalischer und grammatischer Kohäsion in multimodalen Diskursen
• die Ausnutzung unterschiedlicher Modalitäten zur Vermittlung von z.B. politischen Inhalten (s. etwa Inszenierung über Videos in den social media im Kontrast zur Informationsvermittlung über klassische Massenmedien)
• die Beschäftigung mit einschlägigen, aber auch neu entstandenen multimodalen Textsorten und Kommunikationsformen (z.B. Comic, graphic novel, Werbeanzeige, Musikclip)
• die Berücksichtigung unterschiedlichster Varietäten (z.B. Fachsprache, Alltagssprache) und kommunikativer Situationen (z.B. face-to-face, quasi-synchron, asynchron)
• die Frage nach dem Grad an Konventionalität bzw. Kreativität des multimodalen Zusammenspiels
• die Untersuchung der Kontextgebundenheit für die Entschlüsselung multimodaler Kommunikate (z.B. Notwendigkeit aktuellen Kontextwissens für die richtige Interpretation politischer Cartoons)
• die Kontrastierung kulturspezifischer Ausprägungen.

Die gemeinsame Arbeit in der Sektion zielt darauf ab, zur Weiterentwicklung der theoretischen Diskussion beizutragen und durch die Bearbeitung unterschiedlich perspektivierter Studien Aufschluss über die Ausprägung und Bedeutung multimodaler Kommunikationsformen zu geben.
Wir bitten um Vortragsvorschläge in dt. oder frz. Sprache mit einer Länge von höchstens 500 Wörtern (zzgl. Bibliographie) bis zum 31. Januar 2024 an die folgenden Adressen: sabine.heinemann@uni-graz.at, judith.visser@rub.de

Communication multimodale – sur l’interdépendance des modalités de signes dans l’espace analogique et numérique

Les formes de communication multimodales sont devenues la norme dans la plupart des domaines de la vie sociale. Bien que la communication en face à face ou la communication de masse classique (journaux, films, radio, télévision) présentent déjà l’interaction de différentes modalités de signes et leur interdépendance correspondante, cela devient encore plus visible dans la communication numérique médiatisée (médias sociaux). Les réalités virtuelles laissent ainsi entrevoir les espaces de communication du futur, auxquels les modèles de description existants ne rendent pas encore justice.

La multimodalité offre un potentiel particulier pour les discours visant à convaincre l’autre (p. ex. discours politique ou publicitaire). Dans leur communication via les médias numériques, les acteurs concernés exploitent les possibilités d’imbrication des différentes modalités, parfois de manière ciblée, dans le sens de leurs propres intérêts de communication. L’interaction entre les modalités, l’utilisation d’images ou de musique ouvrent également des possibilités d’émotion, de mise en scène, de rupture de tabou, que la communication purement verbale ne peut atteindre que de manière limitée. Dans de nombreux cas, l’intégration des modalités de signes permet d’accentuer le message, d’évoquer des cadres différents ; inversement, dans le cas d’un élément figuratif, une composante linguistique parallèle peut servir à l’interprétation, etc. Cette interdépendance est particulièrement évidente dans les cas où le message de la communication, par exemple dans les annonces publicitaires, ne peut être saisi qu’à travers la relation concrète texte-image.

La section a pour objectif d’analyser, outre la discussion de modèles d’analyse sémantico-sémiotiques, les liens sémantiques et fonctionnels ainsi que les interactions entre les modalités dans différentes formes, espaces et types de textes de communication francophones, en mettant l’accent sur les discours à caractère persuasif et en tenant compte de la spécificité des formats médiatiques utilisés. Les champs thématiques sont par exemple la communication des marques, le discours politique et environnemental ou encore la multimodalité comme moyen de participation ou d’exclusion. Les objets d’étude possibles peuvent être les suivants :

• l’étude de différents types d’interaction entre les modalités (p. ex. complémentaires, contradictoires, redondantes)
• l’étude de la spécificité des médias (cf. p. ex. la langue écrite, le discours, les gestes) en tenant compte de leur fonctionnement respectif dans un contexte multimodal
• les types de cohésion lexicale et grammaticale dans les discours multimodaux
• l’utilisation de différentes modalités pour la transmission de contenus politiques par exemple (voir la mise en scène via des vidéos dans les médias sociaux en contraste avec la transmission d’informations via les médias de masse classiques)
• l’étude de types de textes et de formes de communication multimodaux pertinents, mais aussi nouvellement apparus (p. ex. bande dessinée, graphic novel, annonce publicitaire, clip musical)
• la prise en compte des variétés les plus diverses (p. ex. langue spécialisée, langue quotidienne) et des situations de communication (p. ex. face-à-face, quasi-synchrone, asynchrone)
• la question du degré de conventionnalité ou de créativité de l’interaction multimodale
• l’étude du contexte pour le décodage de communications multimodales (p. ex. la nécessité de connaissances contextuelles actuelles pour l’interprétation correcte de caricatures politiques)
• la confrontation des caractéristiques culturelles spécifiques.

Le travail commun de la section a pour but de contribuer au développement de la discussion théorique et de fournir des informations sur les caractéristiques et l’importance des formes de communication multimodales par le traitement d’études à perspectives différentes.
Nous demandons des propositions de contribution en allemand ou en français, les résumés n’excédant pas 500 mots (bibliographie exclue). La soumission des résumés se fait à l’aide du formulaire ci-joint. Veuillez envoyer votre proposition jusqu’au 31 janvier 2024 (date limite) aux adresses suivantes :
sabine.heinemann@uni-graz.at, judith.visser@rub.de.

Bibliographie
Bateman, John, Janina Wildfeuer & Tuomo Hiippala (eds.). 2017. Multimodality. Foundations, Research and Analysis – A Problem-Oriented Introduction.
Berlin/Boston: De Gruyter.
Blasch, Lisa, Daniel Pfurtscheller & Thomas Schröder (eds.). 2018. Schneller, bunter, leichter? Kommunikationsstile im medialen Wandel. Innsbruck: Innsbrucker
Universitätsverlag.
Caballero, Rosario. 2009. “Cutting across the senses: Imagery in winespeek and audiovisual promotion”. In Charles J. Forceville & Eduardo Urios-Aparisi (eds.),
Multimodal Metaphor, 73–94. Berlin/New York: De Gruyter.
Cosenza, Giovanna 2004. Introduzione della semiotica dei nuovi media. Rom/Bari: Laterza.
Cosenza, Giovanna 2018. Semiotica e comunicazione politica. Rom/Bari: Laterza.
De Rosa, Roberto 2015. Partecipazione politica e nuovi media. Rom: Nuova cultura.
Diekmannshenke, Hajo, Michael Klemm & Hartmut Stöckl (eds.). 2011. Bildlinguistik. Theorien –Methoden – Fallbeispiele. Berlin: Erich Schmidt Verlag.
Forceville, Charles & Eduardo Urios-Aparisi (eds.). 2009. Multimodal Metaphor. Berlin/New York: De Gruyter.
Fricke, Ellen (2012): Grammatik multimodal. Wie Wörter und Gesten zusammenwirken. Berlin/Boston: De Gruyter.
Georgakopoulou, Alexandra & Tereza Spilioti (eds.). 2016. The Routledge Handbook of Language and Digital Communication. Abingdon: Routledge.
Girnth, Heiko & Sascha Michel 2009. Polit-Talkshows – Bühnen der Macht: Ein Blick hinter die Kulissen_. Bonn: Bouvier.
Hauser, Stefan & Martin Luginbühl. 2015. “Hybridisierung und Ausdifferenzierung – Einführende begriffliche und theoretische Anmerkungen”. In Stefan Hauser & Martin Luginbühl (eds.): H_ybridisierung und Differenzierung. Kontrastive Perspektiven linguistischer Medienanalyse, vol. 7, 7–30. Bern et al.: Peter Lang.
Jewitt, Carey/Kress, Gunther 2003. Multimodal Literacy. Bern & New York: Peter Lang.
Joue, Gina et al. 2020. “Metaphor Processing is Supramodal Semantic Processing: The Role of the Bilateral Lateral Temporal Regions in Multimodal Communication”. Brain and Language 205.
Klug, Nina-Maria & Hartmut Stöckl (eds.). 2016. Handbuch Sprache im multimodalen Kontext. Berlin/New York: De Gruyter.
Kress, Gunther & Theo van Leeuwen. 2nd edn. 2006. Reading Images: The Grammar of Visual Design. London: Routledge.
Kress, Gunther & Jeff Bezemer. 2016. Multimodality, Learning, and Communication: A Social Semiotic Frame_. London: Routledge.
Linke, Angelika & Arnulf Deppermann (eds.). 2010. Sprache intermedial. Stimme und Schrift, Bild und Ton_. Berlin/Boston: De Gruyter.
Meier, Stefan. 2010. “Bild und Frame – Eine diskursanalytische Perspektive auf visuelle Kommunikation und deren methodische Operationalisierung”. In Anna Duszak, Juliana House & Lukasz Kumiega (eds.). Globalization, Discourse, Media: In a Critical Perspective/Globalisierung, Diskurse, Medien: eine kritische
Perspektive, 371–392. Warschau: Universitätsverlag.
Nöth, Winfried. 2000. “Der Zusammenhang von Text und Bild”. In Klaus Brinker et al. (eds.): Text‐ und Gesprächslinguistik/Linguistics of Text and Conversation, vol. 1, 489–496. Berlin/New York: De Gruyter.
Pérez Sobrino, Paula. 2017. Multimodal Metaphor and Metonymy in Advertising. Amsterdam: John Benjamins.
Roessing, Thomas & Nicole Podschuweit (eds.). 2013. Politische Kommunikation in Zeiten des Medienwandels. Berlin/Boston: De Gruyter.
Roth, Kersten S., Martin Wengeler & Alexander Ziem (eds.). 2017. Handbuch Sprache in Politik und Gesellschaft. Berlin/Boston: De Gruyter.
Siever, Christina Margrit. 2015. Multimodale Kommunikation im Social Web. Forschungsansatze und Analysen zu Text-Bild-Relationen. Frankfurt/M.: Peter Lang.
Stöckl, Hartmut. 2004. Die Sprache im Bild, das Bild in der Sprache: zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte, Theorien, Analysemethoden. Berlin: De Gruyter.
Ziem, Alexander. 2008a. “Frame-Semantik und Diskursanalyse – Skizze einer kognitionswissenschaftlich inspirierten Methode zur Analyse gesellschaftlichen Wissens”. In Ingo H. Warnke & Jürgen Spitzmüller (eds.): Methoden der Diskurslinguistik. Sprachwissenschaftliche Zugänge zur transtextuellen Ebene, 89–116. Berlin/Boston: De Gruyter,.
Ziem, Alexander. 2008b. Frames und sprachliches Wissen. Kognitive Aspekte der semantischen Kompetenz. Berlin/New York: De Gruyter.