语文网-语言文学网-读书-中国古典文学、文学评论、书评、读后感、世界名著、读书笔记、名言、文摘-新都网移动版

首页 > 学术理论 > 语言学 > 其他分支学科 >

多模态感官系统与语言研究(11)


        4.6 小结
        在乔姆斯基和福德的理论中,婴儿的心智发育是不均衡的,语言能力是天赋的,因此比其他智力发育要早熟得多。在皮亚杰的理论中,语言能力不是天赋,是跟其他智力互生互长的,语言能力的建构是认知智力全面建构的一部分。多模态感知跟行为捆绑在一起,不像福德模型里那样模块化。
        卡氏试图走一条中间道路,用天赋偏好论替代天赋决定论,目前看来的确是个进步。她把现象的观察和理论的构建提前到胚胎发育和刚出生的婴儿,不管基于多模态感官的实验是否完全可靠,就研究本身来说是一大进步。
        琼森和笔者的研究从人类和动物的造标记和造义本能入手,强调感觉运动体验是一切认知的基础,造义是语言的首要问题。这一点目前看来值得肯定。
        多模态感官系统跟情感的发生与发展的关系,除上文谈到的触觉与婴儿情感依附的研究外,其余的都是零星研究,可以说是刚刚起步。
        5.多模态感官系统与语言研究:三个理论问题
        至此,读者会感到多模态感官系统与语言研究涉及很多理论问题,的确如此。作为结语,本文只讨论三个,多模态转换(multimodal exchange)、多模态搭配(multimodal congruence)和多模态过滤(multimodal filtering)。这些跟多模态研究的应用有直接关系。三个问题上文实际已经触及,这里我们通过举例作进一步阐释。
        多模态转换包括两个方面:发生在(1)单个体内,(2)人际间。单个体内的模态转换,如一边看书面文字(视觉模态)一边念出声来(听觉模态)。多模态转换是“通感”的生理基础。人际间的模态转换如老师念(听觉模态),学生记笔记(这里涉及听觉、视觉、触觉三个模态同步运行;边听边记因此很累)。
        多模态搭配有两个含义:(1)感官模态有生物生理特征所决定的默认数据类型,如上文提到过的听觉对声波、视觉对光波等;(2)多模态发生转换时,有些模态间的转换是顺畅的,有些是别扭的、不协调的,比如把听觉信息转换成味觉信息似乎是困难的,视觉信息转换成听觉信息是相对容易的。以笔者为例,看文字时都要转换成无声的语音才能理解文字的意义,但并不觉得困难。关于多模态转换和搭配与语言教学的关系,参见顾曰国(2007)。
        第1节提到中医诊断法“望闻问切”,在本文的研究架构中属于多模态感官系统研究的应用。“望闻问切”启用医生多模态感官系统,去感知患者的病兆信息。“望”用视觉模态去观察患者的身体、外部行为的状况,如眼神、舌苔、神色等。医生望诊对患者眼神、舌苔的颜色、神色等,在多模态转换与搭配上都是顺畅的。“闻”包括嗅觉、听觉两个感官模态,医生“闻”用的模态跟患者模态输出是一致的,即嗅觉对气味、听觉对声音。“问”是听觉模态的输出端,医生问、患者答都是基于听觉模态。医生“闻”(=听闻)患者时,“闻”的是声音质量(如底气足、洪亮、有气无力),医生“问”患者时,问的对象是作为心声的“言”⑤。“切”用触觉模态,脉诊时输出的是脉动,输入—输出在模态搭配上也是一致的。
        “多模态过滤”这个提法是为了记忆和谈论的方便。它是用来概括这样一个现象,即多模态感官系统在与外部世界互动时会受到个人信念、价值、知识等的影响。如第2节提到的荀子的“……非是无欲……”就是来自儒家思想的过滤器。多模态感官系统的生物生理特质构成物种过滤器,如第2节提到的人类的感官系统,跟其他动物不一样,因此我们感知的世界跟其他动物是不一样的。皮亚杰的经验建构主义关于婴儿出生时感觉—运动行为,属于人类物种过滤器,它假定人类婴儿全是一样的,所有婴儿在出生时处于同一“起跑线”上。婴儿出生的家庭、社会、文化的不同,产生不同的非生物生理的过滤器,其中最重要的过滤器莫过于婴儿的母语。多模态过滤器提供“框束”(framing)与“机遇”(enabling)两个相辅相成的功能。婴儿接触的母语,作为过滤器,框束他们学习其他语言和自我随机表达的机会,同时也为他们造义时提供预制好的表达手段。
        关于“多模态过滤器”一词,西方研究人员喜欢用“有认知支撑的感知”(cognition-mediated perception)、“预制方案”(schema)、“预制构架”(frame)等术语。笔者偏爱“多模态过滤”,目的是试图对这类现象进行更加严密的定义,甚至进行逻辑运算。比如,图2显示拍集体照这个活动的两个时间点——开始和结束。 (责任编辑:admin)