|
摘要: 本文旨在梳理多模态感官系统与语言跨学科研究的部分成果｡文章首先澄清术语的用法｡汉语“多模态”对应于英文的multi+modality,即神经医学定义的“多模态感官系统”｡文献梳理按两条主线进行:一是基于单模态感官的语言学理论,包括乔姆斯基的语言器官论和福德的言语模块论:二是基于多模态感官的语言学理论,包括皮亚杰的经验建构主义､卡密洛夫一史密斯的成长理论､琼森的造义理论,以及笔者的多模态充盈论｡文章同时介绍胚胎学对听觉模态､视觉模态的研究,以及触觉与情感依附的研究等｡文章重点讨论多模态研究的三个理论问题:多模态转换､多模态搭配与多模态过滤器｡ 关键词: 多模态感官 感官—运动行为 语言器官 言语模块化 造义 多模态转换 多模态搭配 多模态过滤器 作者简介: 顾曰国,中国社会科学院语言研究所研究员,研究兴趣:语用学､话语分析､语料库语言学｡ 1.引言 “多模态”(multimodality)在西方已经成为一个跨学科的热门话题,涉及语言学､认知科学､哲学､脑科学､临床医学､计算机科学等领域｡本文一方面梳理大的研究脉络,勾画一幅全貌图,另一方面集中讨论多模态感官系统与语言的交叉研究｡ 多模态研究的成果主要见于英语文献,此外,汉语“模态”一词可以用来翻译mode,modality或module｡鉴于此,在进入主题之前,我们有必要先梳理英语文献中一些术语的用法,避免误解和概念上的混淆｡ 术语mode跟本文讨论的多模态现象联系最紧密,也特别容易混淆｡在以韩礼德(Halliday)为代表的功能语言学中,语境由三元素组成:(1)场景(field);(2)人物及其关系(tenor);(3)语言方式(mode)｡在某个语境里,是选用口头交流还是通过书面文字,就是在做“语言方式”的选择(2001[1978])｡Hodge和Kress(1988)在拓展韩礼德的社会符号学理论时,一方面承袭这个用法,另一方面又用它来指非语言方式｡后来,Kress(2009,2010)用它来泛指能够产生意义的任何符号资源,如文字､图像､颜色､版式､手势､音乐､动漫画,甚至包括发型､化妆等,这些都可以用来传达意义,因此都是mode｡当今的图书页面､网页､手机触屏设计等,往往同时混合使用多个这样的mode,这种呈现方式被称之为multimodal,普遍译为“多模态”｡对混合使用的作品用话语分析的方法作系统研究,则称之为multimodal discourse analysis,译为“多模态话语分析”｡ 需要强调的是,本文讨论的“多模态”概念不是上文说的多模态概念,而是源自脑神经科学｡人们日常说的“五官”,在现代脑神经科学里称为“感官模态系统”(sensory modalities)｡以视觉为例,眼睛器官加上处理视觉信号的神经系统组成一个视觉模态｡多模态指多个感觉器官加上处理各自信号的神经系统｡视觉､听觉､触觉､嗅觉和味觉是本文主要关注的多模态感官系统｡ 概言之,多模态话语分析中的multimodality,源自英文的multi+mode,指多种符号系统;本文的多模态multimodality,则源自英文的multi+modality｡由于人脑在处理由多符号系统构成的文本时,需要调用多模态感官系统,多模态话语分析因此跟本文的多模态感官系统研究是有内在联系的,但属于本文多模态研究的一种应用｡为了避免混淆,本文把multimodal(源自multi+mode)译为“多符号”,把multimodal(源自multi+modality)译为“多模态感官”,把视觉､听觉､触觉､嗅觉和味觉统称为“多模态感官系统”｡ 多模态感官系统和语言研究有着曲折的历史,充满了争议｡尽管如此,研究者的观点愈来愈趋同,即从基于单模态的转向基于多模态的｡本文先作学术背景介绍(第2节),然后进入正文,共分三部分｡第一部分讨论以单模态为基点的研究,主要是乔姆斯基(Chomsky)的“语言器官”论和福德(Fodor)的“言语模块”论(第3节)｡第二部分讨论以多模态感官系统为基点的研究,主要包括皮亚杰(Piaget)的经验建构主义､卡密洛夫一史密斯(Karmiloff-Smith)的认知成长观､琼森(Johnson)的体验哲学以及笔者的“充盈亲历”以及“充盈意义”的建模(第4节),其中穿插介绍胚胎学对听觉和视觉的发生研究以及触觉模态与情感依附的研究｡这些研究使研究者得以重新评价乔姆斯基､福德和皮亚杰的经典理论｡第三部分通过中医“望闻问切”和智退症患者的视觉失识,演示一些理论问题,包括多模态互动时的模态转换､模态搭配､多模态过滤器等｡关于多模态研究的应用,如多模态语料库､多模态机器人､多模态语言教学､多模态与临床语言学等,因篇幅有限,待另文述说｡ (责任编辑：admin) |