|
二、语言学的理论适用于分析图像、手势等非语言符号吗 多模态语篇分析使用的主要是语言学的理论与分析方法，尤其是系统功能理论（Halliday，1994）和概念隐喻理论（Lakoff & Johnson，1980）。因此，有学者质疑：为什么要用语言学的理论研究非语言符号？适用吗？就系统功能理论而言，很多学者认为不能将语言学理论应用于非语言模态，因为图像、手势、电影等没有传统意义的词汇与语法。对此，Bateman & Schmidt（2012）提出：（1）非语言符号没有语言的词汇语法，但有同样的语篇语义系统，因此多模态分析应采用语篇语义理论，而非词汇语法结构理论；（2）根据Halliday（1978）的社会符号学理论，语言与非语言符号都不能被视为一成不变的语义编码，而是在一定语境下建构意义的资源。因此，Kress & van Leeuwen（1996）的视觉“语法”只是对图像表意资源的系统描述，而非硬性的规则。这一问题的明确为使用语言学理论进行多模态分析与进一步建立多模态理论体系提供了有效的方法。就认知隐喻理论而言，图像隐喻与多模态隐喻研究为探讨隐喻的本质与应用提供了新的视角。自Lakoff & Johnson（1980）提出概念隐喻理论以来，研究者虽然承认隐喻是认知现象，而非简单的语言修辞，但大多数研究只是考察语言隐喻。图像隐喻与多模态隐喻的提出弥补了这一缺陷（Forceville，2009：19）。因此，一方面，概念隐喻理论为多模态语篇分析提供了有力的分析工具；另一方面，多模态语篇也为进一步完善、发展概念隐喻理论提供了新的语料形式。 我们可以将语言学理论的适用问题概括为以下三点：（1）语言是一种极其复杂的符号系统，而现代语言学理论经过近百年的发展已经具备了精细的分析模式，只要使用得当，可以为分析非语言符号提供有力的理论工具；（2）只有关注语义的语言学理论才适用于多模态语篇分析，而关注语言形式的理论并不适用，因为非语言符号与语言具有同样的语义系统，却有截然不同的底层符号形式；（3）复杂的多模态语篇为验证语言学理论的适用性与阐释力提供了不同的符号形式并使其能够进一步发展、完善。 三、多模态语篇分析的范畴与方法是什么 本节中笔者将讨论多模态语篇分析的核心问题：研究什么与怎么研究。下文分别介绍多模态语篇分析的理论视角、研究对象与研究方法。理论视角包括描述与阐释多模态语篇的各种理论工具。多模态语篇描述的主要语言学理论基础是系统功能理论和概念隐喻理论。系统功能视角的研究包括模态表意机制研究与模态关系研究。一方面，以系统功能语法（Halliday，1994）为基础，研究者为描述视觉图像（Kress & van Leeuwen，1996；O'Toole，1994）、数学符号（O'Halloran，2005）、手势（Martinec，2000）、音乐（van Leeuwen，1999）、电影（Bateman & Schmidt，2012；Feng，2012）等符号建立了语法语义系统；另一方面，研究者为阐释不同模态，尤其是图像与文字之间的复杂关系提出了不同的理论框架（如Liu & O’Halloran，2009；Martinec & Salway，2005）。认知视角的多模态隐喻理论的发展是近年来多模态研究的重要成果。El Refaie（2003）通过发表在多模态研究权威期刊Visual Communication上的“Understanding Visual Metaphor”一文，首先将视觉隐喻这一概念从传媒艺术领域引入多模态语篇分析。2009年出版的《多模态隐喻》（Forceville & Urios-Aparisi，2009）一书收录了多模态隐喻研究的最新成果，标志着多模态隐喻理论的正式形成（冯德正等，2014）。近年来社会功能与认知隐喻视角的多模态研究都在各自的理论框架内取得了重要进展。但是，它们之间真正的对话与融合尚未引起研究者的重视，这也是多模态语篇分析今后的发展方向。另外，语用学与文体学等传统的语言学理论也开始被应用于多模态语篇分析，具有很大的发展空间。除了借助语言学理论描述多模态语篇，研究者也经常借助传播学、心理学、教育学、社会学等理论阐释不同语篇特征形成的原因。需要指出的是，多模态语篇通常具有复杂的表意机制并涉及不同的学科领域，因此，需要从不同角度进行描述与阐释（如冯德正，2011；冯德正、亓玉杰，2014）。 就研究对象而言，自20世纪90年代中期Kress & van Leeuwen（1996）和Forceville（1996）分别将系统功能理论和概念隐喻理论应用于图像分析以来，多模态研究的对象已经几乎囊括了人类所有交际媒介和符号形式，例如三维空间（Stenglin，2011；Ventola，2011）、副语言特征（Hood，2011；Knight，2011）、图画书与漫画（Feng & O'Halloran，2012；Painter et al.，2013）、课堂教学（Lim，2011；Liu & Owyong，2011；陈瑜敏，2010；张德禄，2010）、电影（Bateman & Schmidt，2012；Feng，2012；Tseng，2013）、网络媒体（Lemke，2002；Djonov，2005；Zhang & O'Halloran，2012）、舞台表演（陈松菁，2016）等。未来的多模态研究可以分析具有重要社会意义的语篇形式，如中国形象、社会主义价值观的多模态建构、新媒体教学（如慕课、微课）、公益广告（如反腐败、普法教育、环境保护）等。 就研究方法而言，系统功能和概念隐喻视角的多模态研究目前以理论建构与基于少量语料的定性分析为主。理论建构通常是提出一个分析框架，然后选取几个典型例子证明理论的可操作性，语料起辅助作用。定性分析中语料的地位比理论建构略为重要，旨在通过细致深入的文本分析发现其语篇特征。但由于是个案分析，语料的代表性与分析结论的普适性受到局限。相比之下，基于某类语料的定量分析在一定程度上解决了普适性问题，可视为准实证研究。如果对大量语料进行标注加工，使用语料库的方法进行统计分析，则可以彻底解决普适性问题。但迄今为止，大型的通用多模态语料库非常少。顾曰国（2006）建立了包括活动话语语料库、幼儿成人语料库、网上良师语料库在内的大型多模态即席话语语料库。Baldry & Thibault（2008）建立了基于XML的在线多模态检索器Multimodal Corpus Authoring（MCA），可以实现对多模态数据的搜索、注解、定量分析等功能。但是，对多模态语篇的标注费时耗力，很难建立像语言一样的大型语料库。因此，多模态语料库一般是首先有明确的研究目的再去确定标注什么（即建立专门用途语料库），以免浪费大量时间。除了上述分析多模态语篇的方法，研究者也可以对语篇的创造和接受进行研究，对分析结论进行三方验证。从语篇创造的角度，我们可以借助人种学方法对语篇创造过程进行观察/录像，或者对创作者进行访谈/问卷调查。从语篇接受的角度，我们可以借助心理学的方法进行行为实验（如反应时间实验、眼动实验），或者借助更直接的脑电实验与核磁共振考察受众对多模态语篇的认知与理解。 以上我们讨论了多模态语篇分析的理论视角、研究对象与研究方法，如表1所示。经过近20年的发展，一方面，跨学科的多模态研究理论体系逐步完善并被应用于阐释各种复杂的多模态语篇；另一方面，以科学技术为基础的多模态语料库、行为实验等实证研究逐步兴起。但是，少数前沿研究不代表多模态语篇分析的主流现状，很多研究仍然具有局限性。我们将在下一节详细论述。 
(责任编辑：admin) |