|
摘 要：本文力图证明在多模态话语的建构和分析中应该重视对符号系统及其符号的供用特征的研究和认识。虽然许多学者在多模态话语分析中更喜欢用“资源”，而不是“系统”，但我们认为，“系统”这个术语从对符号系统进行研究和从系统中选择符号及其供用特征上讲，更加合适。本文首先探讨了符号系统及其符号的供用特征以及它们是如何被文化语境和情景语境促动的，接着探讨了在建构多模态话语中符号的供用特征之间的相互协同作用;其次探讨了如何从相关的符号系统中选择合适的符号及其供用特征;最后，是实例分析。本文发现，在多模态话语建构中，有大量符号系统可用，但它们不总是规则性的、稳定的。从符号系统中选择特征的过程可以描述为:受语境因素，包括交际目的和兴趣的促动和制约，设计者根据情景语境，从整个文化语境(包括语域和体裁)组成的意义系统中选择多模态语篇的意义构型，从而激发从不同的符号系统中根据供用特征的特点对合适模态符号的选择，包括对符号意义的扩展和制约，最后，所选择的各种符号的供用特征融合为一体构建多模态话语。 关键词：系统资源；符号系统；供用特征；多模态话语 一、引言 交际中的多模态现象直到20世纪70年代才引起语言学家的注意。Barthes(1977)研究了文字、图像和声音之间的关系。大规模的多模态研究主要是由Halliday的“语言作为社会符号”理论发起的(Halliday 1978)。特别是在1990年代中期，基于Halliday的元功能理论、功能语法理论和他的社会符号学理论，O'Toole(2011,1994)运用系统功能语言学的三个纯理功能和级阶理论研究展览画。后来，Kress&van Leeuwen(1996)试图提供一种解释图像的理论，就像我们运用系统功能语言学的功能语法解释语篇一样。尤其是在21世纪初，除了图像，他们还研究了电影(van Leeuwen 1991)、颜色(Kress&van Leeuwen 2002)、音质(van Leeuwen2009)、电影中的灯光(van Leeuw en&Boeriis 2017)等。最近，Bateman等人(2017)从更广泛、更全面的角度重点研究了多模态的基本理论问题、争议和交际情景等。 尽管多模态语篇分析已成为新世纪的热门话题，但“要在平等对待语言和其他表达形式的基础上取得足够的理论基础，还有大量的工作要做。”(Bateman et al 2017:51)。例如，M achin发现，在使用视觉语法，如volume和vector来读取图像时，存在以下问题:(1)很难发现图像是如何被自然地分割为独立单位的。(2)图像的任何部分都可以同时或完全不触发一些符号规则。(3)我们可以用语言描述图像中发生的事情，但这是一个任意过程。因此，图像并不一定是它们所表现的事物在语法上的体现。(4)在视觉交流中，代码不像语言那样在意义的第一层起作用(Machin 2007:176)。Forceville(1999:169)也认为，Kress和van Leeuwen在模态描述中对图像的许多解释是有争议的或片面的。他认为他们过分相信“他们概念的解释力，甚至预测力”。在多模态语篇分析中，研究的重点一般集中在语篇上，而系统往往被忽视。我们只发现了一篇把多模态所依赖的符号系统清晰地建模和描述出来的文章(Muntigl 2004)。 在构建多模态语篇的过程中，模态的选择取决于其体现语篇意义的独特价值，以及其整体和同一系统中其他特征(feature)及其之间关系。因此，设计者需要了解特征所属系统，及其潜在的交际功能，而且他或她还需要知道从系统中选择合适的特征或建构合适的语篇应遵循的原则，并掌握这些特征如何与其他符号系统中选择的特征相互配合和协调。因此，本研究将探讨以下问题:1)相关模态背后的系统是如何描述和表述的?2)系统中特征的意义是什么?3)在多模态语篇的建构中，如何对它们进行选择以及如何与其他模态进行协同? 二、符号系统及其供用特征 在系统功能语言学中，语言被认为是一种潜势或系统，一组可供言语社团成员选择进行社会交际的特征。文化也是一个意义构架———一种“符号结构”。从这个意义上说，语言是构成文化的符号系统之一;一个独特的符号系统，它还充当了其他许多代码系统的编码系统。(Halliday 1978:2)这就是为什么语言被认为是“社会符号”。文化中的其他符号系统包括艺术形式，如绘画、雕塑、音乐、舞蹈，以及其他不属于艺术形式范畴的文化行为方式，如交际方式、衣着方式、家庭结构等。这些艺术形式和交流方式都承载着文化的意义。所以Halliday和Hasan(1989:4)说，“我们可以把文化定义为一套相互关联的符号系统，一套意义系统”。 1．“系统”和“资源”概念 然而，随着多模态语篇分析的出现和发展，“系统”的地位受到了质疑。尽管我们需要借用语言学术语来进行多模态语篇分析，但是Kress说:“我们倾向于使用我们从前人那里继承下来的相对稳定的概念，特别是从语言理论和描述中继承的概念。经过过去很长一段时间的研究，我们已经开发了一套复杂的工具(Kress 2010:7)。”然而，这些术语可能并不完全适用于新的研究领域。例如，根据Kress(2010:7)，“系统”意味着采用“固定规则”，比如语法。现在，随着系统从规则性和稳定性到动态性的转变，应该从“语法”或“系统”这个术语转向使用“符号资源”这个术语。 如果使用“语法”一词，就有必要对“固定的规则”“稳定的惯例”等概念的隐含意义进行解释，或者使用一个没有这种规约含义的术语。目前，通常选择后一种方法，选择使用术语“资源”(resource)，如“表现资源”(resources for representation)。资源需不断变化，无论在对话中、写作中，在与世界特定场域某个方面的接触中，还是在内心的辩论中，都绝不是故意、武断、无规则进行的，而是正好符合现在的需要，对一些要求、“即时”需求的回应(Kress 2010:7-8)。 总之，系统和语法概念都隐含着“固定的规则”和“稳定的约定”，它们不适用于描述现在多模态社会交际中正在发生的事情。因此，“资源”一词被用来捕捉不断变化的动态互动语境，它们从来都不是固定的。当然，他也承认符号资源承载着社会场合和事件的规律性特征。 实际上，在多模态语篇分析出现之前，Halliday(1978:4,8)就已经将“资源”一词与“系统”互换使用。的确，“资源”一词比“系统”使用范围更广更为普遍，但是，鉴于符号系统从历时的角度看是可以演化和进化的，而且还有封闭系统和开放系统之分，所以“系统”一词并没有明确地排除不稳定的系统、正在形成的系统、正在过渡的系统以及正在出现或正在消亡的系统。系统内符号的意义也都不是固定的:它可以改变、缩小、扩大或转移到另一个特征中。语言的子系统也在不断变化，比如一些词汇子系统，随着互联网交际的出现和发展，出现了许多新的词汇项目，有一些词汇很快消失了，如微博和微信中使用的词汇。 由于“资源”一词是概括性的、笼统的，所以它显然具有不精确、不准确和不透明的缺点。它不需要研究系统来找出符号的供用特征，也不要求探讨供用特征之间是否相互关联，以及每个符号的供用特征与系统中其他符号的供用特征之间的关系。“资源”这个术语可以说已经成功地避免了对这些特征进行精确描述的必要性。对它们的关系和功能的详细描述以及与其他特征的关系的描述很容易包括在下面要描述的所有的不稳定和非典型系统中。(见图1)。  图1 从稳定性和典型性定义的符号系统 综上所述，尽管使用术语“资源”具有可描述多模态交际的优点，但我们仍要用“系统”这个术语，因为它是一个更恰当的术语，它提供了进一步研究模态本身在建构多模态话语中潜在的作用和更具体、更复杂的意义资源的可能性。不同符号系统或模态特征将在下一节讨论。 2．供用特征:特征和系统 系统的意义及其特征在系统功能语言学的研究传统中是基于它们的意义潜势，即言语社团成员在社会交际中可以选择的一组特征。在多模态话语研究中，随着研究范围扩展到非语言模态，对不同模态的潜在意义特征的描述更倾向于通过其供用特征进行。 “供用特征”概念最初是Gibson(1977)在研究“生态心理学”时提出的，当初是为了能够将感知描述为一种更积极、更以功能为导向的与世界接触的过程，而不是简单地看(或听、或闻、或触摸等)世间事物。“例如，‘门把手’的形状和位置‘能让人转动它和打开门’(除非设计得很糟糕)，‘书’能让人翻页，‘鼠标’能让人点击等等”(Bateman 2017:90)。 有人认为，供用特征更适合于多模态研究，因为供用特征不仅涉及模态的意义潜势，而且还涉及从媒介的物质性中衍生出来的意义，对系统或其特征的意义提出了进一步的限制或扩展。在这里，我们将符号的供用特征与其意义潜势交替使用。 符号的供用特征通常指符号的相对稳定的潜在特征，既包括Saussure(1959、1915)符号学中的能指，也包括其所指。实际上，符号的供用特征还应包括它的物质性产生的意义，符号作为一个整体所衍生的意义也应包括物质性产生的作用，如符号的隐喻意义，以及由语境所激发的意义的延伸部分。(见图2)。  图2 符号的供用特征 在Gibson的论证中，模态符号的供用特征似乎可以指模态为其他事物提供的条件，而这主要是通过模态媒介的物质性来实现的。从这个意义上讲，它与符号的能指有关。概念是符号约定俗成的意义，构成符号的核心意义。符号潜在的隐喻扩展也应该是符号的供用特征的一部分，因为符号(它的物质性和它的概念一起)为这样的隐喻提供了可能的条件。意义中更具争议的部分是潜在的引申意义，甚至是由语境激发的意义。虽然它超出了符号的传统意义，但是符号为它的发生提供了环境。这个潜在的驱动力也来自于符号本身，因此，这类意义应该包含在符号的供用特征中。 从这个意义上说，符号及其所属系统的意义特征可以称为供用特征，包括概念的不变性供用特征和物质性衍生的供用特征，以及由语境驱动的隐喻性供用特征和潜在语义特征的可变供用特征。这四种类型的供用特征可以同时选择，或者根据情景语境只选择其中一部分。 三、语境的作用 如上所述，供用特征是在构建多模态语篇时的可选项，其动因是特定的情景语境。在多模态交际中，情景语境概念从以语言为中心扩展到以行动为中心。话语范围指社会活动、行动和事件;话语基调指交际中的行为者、行动者、工作者以及他们之间的关系，而话语方式指多种模态参与意义的建构。 由于文化语境是由一系列符号系统构成的，所以大多数在情景语境中出现的符号系统将在情景语境中表现为情景成分。然而，一些符号系统在互动过程中会受到语境的促动成为构建多模态话语的模态。语境因素由交际目的或兴趣来调节和控制(Kress 2010:10)。在这个过程中，交际者作为修辞者和信息创造者，需要评估各方面的背景情况，包括事件的本质、事件和动作、观众的特点、可用资源、交际目的和兴趣等等，然后从文化语境中选择语义模式以达到他的目的或满足他的兴趣。在这种情况下，情景语境通过交际目的或交际者的兴趣，引发了对多模态语篇语义构型的需求，这就使得相关模态的选择成为必然。 在这种情况下，符号系统之间的分工发生在情景语境中。一些符号系统与设计者(讲话者或行为者)的兴趣或交际目的相关，它们将与其他相关符号系统一起建构多模态语篇，而在同一情景语境中的其他符号系统没有被促动，所以它们作为多模态话语语境或背景参与到交际事件中。例如，在教室里有桌子、椅子、PPT演示、教学辅助用品、写作的屏幕等等。在教授语言学，特别是系统功能语言学时，教师会选择通过话语和PPT演示的方式来呈现理论，这样演讲、PPT上的书面语、PPT上的图表，以及手势、面部表情和身体姿势等就会变成模态，其他符号系统，如实物、桌椅等成为情景语境成分。如果老师想通过在PPT上展示实物，配上图片和文字来教实物，那么实物就会成为一种模态。 四、多模态语篇结构中模态供用特征的协同作用 然而，情景语境通过交际目的或兴趣直接促动的不是符号系统，而是多模态语篇的意义，是其语义结构。这就是Kress&van Leeuwen(2001:4)所说的“社会建构的(部分)现实知识”。话语或多模态语篇的语义构型是通过模态设计实现的。 在设计过程中，交际者作为设计者，通过计算不同模态符号的供用特征来选择模态符号，使每一种符号的供用特征都适合作为话语整体意义结构的特定部分。通过这样一个过程，不同的意义将按照一定的顺序分配给不同的模态。多模态语篇选择的模态至少有三个特点: 首先，多模态语篇中符号体现的意义是互补的，每一个符号实现的意义都是整体的一部分，而所有的部分共同构成意义整体。当某一模态的意义缺失时，整个模态就不完整或不完美。例如，在嘈杂的环境中，说话者通过手势和言语来引起听者的注意。当讲话被噪音淹没时，听者就不知道说话人在对他说什么，也就无法理解这个手势的意思。 其次，交际情景是一个整体，不同的模态所实现的不同意义必须整合为一个整体。Kress(2010:161)使用了音乐中的“协奏”来隐喻性地表现这一现象:模态的选择是修辞上的，因为它们的供用特征适合设计者的意图，并且它们是在交流过程中被排列的。这可以通过氧气面罩的使用演示来说明。它可以通过口头指导，也可以通过人的行动和使用手册上的图片来演示。在这种情况下，指令通过三种方式发出:口头指令、图像指令和人类行为。可以说，这三种模态是相互协同的。在这种情况下，乘客可以听到、看到它，尤其是指令的细节方面，同时，也可以在展示进行的同时，在使用手册上查看它的文字和视觉演示。 再者，模态在交际过程中可能扮演不同的角色。例如，在氧气面罩的使用演示中，语言主要是对一般的程序和步骤进行说明，动作则是展示戴氧气面罩时的具体动作和准确行为。 最后，在多模态语篇的建构中，所选择的模态并不是同等重要的。有些模态是预先设定的，比较突出，如日常交际中的口语;有些可能是辅助性的，扮演次要角色，比如在口头对话中的手势或面部表情。有些可能是有意识地选择，比如口语、书面语言和PPT中的图片，而有些则不是有意识地选择，比如老师的手势、面部表情和身体姿势。 五、符号及其供用特征的选择 当我们把一个模态看作一个符号系统时，这意味着在构建一个多模态语篇的意义时，我们要从一个或多个相关的符号系统中做出选择。“这就奠定了符号学的一个基本原则:要使意义成为可能，就必须有选择———如果没有选择，就没有意义。”(Bateman 2017:53-54) 在这种情况下，合适的选择首先需要满足两个要求:1)设计者应该清楚、完整地了解相关的符号系统。他/她对系统的了解越多，对系统中的特征的选择就越准确，特别是对封闭系统中特征的选择。例如，在交通灯系统中，如果你只知道绿灯的意思是通行，而不知道其他符号的意义，那么在构建行车多模态话语的过程中就很可能导致交通事故。2)他/她应该了解符号与同一系统中其他符号的供用特征的关系，以及它在语篇中可能的语义范围。例如，仅仅了解这个符号的基本惯常供用特征是不够的，因为它可能导致具有负向效应的扩展或隐喻意义。 其次，在选择过程中，设计者应该遵循省力原则:在效果等同的情况下，选择的模态越少越好。当只需要使用一种模态时，不必选择更多。再者，设计者还应遵循适切原则:在可选择的模态中，选择最适合实现交际目的的模态。“常用模态有语音、静态图像、动态图像、书写、手势、音乐、3D模型动作和颜色。每一种都具有特定的意义潜势，因此原则上都适合于特定的表现/交际任务。”(Kress 2010:27-28)。 模态的选择要基于语境和符号的供用特征的需求之间的关系，以及供用特征与语境相关的方面。语境的需求激发了对其模态符号的供用特征的选择。就模态符号的供用特征的设计而言，设计者有以下选择: 1．模态符号的供用特征完全满足语境的要求。一般来说，它是指模态系统中的某一特征或一组特征在话语建构的特定阶段满足语境的要求，从而选择该模态与其他模态相结合，进行多模态话语的建构。它的所有供用特征都与语境相关，并整合到语篇的语义模式中。这是最直接的模态选择类型。 2．模态符号的一些供用特征与语境相关，但是它们不足以满足新语境的需求，因此需要对符号的供用特征进行扩展或改变，以适应新的需求。它要求符号在这样的语境中是可扩展的，即系统中符号的原始供用特征与新的意义相关，具有可扩展或可改变的潜力。这是语境化中的创新过程，在新的社会实践中，系统的潜能得到了拓展或改变，文化也因此得到了拓展，无论它有多小。这样的过程就是Kress所说的“转换”，这在人类的交流过程中是很常见的，所以Kress说“创造力是普通的，正常的;是符号制造意义的日常过程。”(Kress 2003:31) 3．任何模态的供用特征都不能满足语境的某个需求，如果填补了这个空白，就会产生一个新符号。随着文化的不断发展，新的意义也被保留在了文化中。它形成了我所说的一个系统，或者说一个新系统。但是一般来说，如果你想要保留新的符号系统，就需要继续扩展这个系统，这样一个由多个符号组成的系统就应该形成一个像交通信号灯一样符号系统。 4．在系统中，符号的供用特征只有一部分与语境相关。这也是普遍存在的现象。包含: 1)符号的相关供用特征是约定俗成的，即符号的基本意义在这种情况下凸显出来，如书桌适用于学习、餐桌适用于餐饮、教室适用于教学等。 2)在一个符号系统中，某个符号的相关供用特征仅仅来源于符号的物质特性。例如，书桌和饭桌在物质性上没有太大区别，木制的，可以用来支撑其他物体。至于它是用于学习还是就餐，这不是研究关心的问题。这种交际实践主要发生在涉及行动或主要为行动的情况下。 3)系统中符号的相关供用特征主要不是符号约定俗成的一阶意义，而是隐喻意义，即从一阶意义向二阶意义转换。如，“玫瑰”符号的供用特征不是美丽的花，而是美丽的女子。 在此，我们可以发现，不同的情景语境会凸显符号意义的不同方面，不被凸显的符号供用特征成了该符号所提供的背景信息。但所有这些意义都是从系统中选择的。符号系统中符号的供用特征的选择受情景语境的促动，受交际目的或兴趣的调节，如图3所示。 从上面可以看出，多模态语篇构建中模态的选择主要经过相互关联的两个阶段: 1)修辞阶段:在这个阶段，受情景语境和文化语境的促动，又受修辞者交际目的或兴趣的调节，设计者(修辞者)要选择多模态语篇的意义结构。这就是所谓的“某人为我从外部制作‘符号-文本’信息，而我在对那个‘能指—符号—文本信息’的处理中，从内部创造了一个新的符号”(Kress 2010:61)。这一阶段实际选择的是修辞模式、文体特征、体裁结构及结构成分。这个阶段可以说是对模态选择提出要求。  图3 在语境促动下从符号系统中对模态供用特征的选择 2)设计阶段:是在多模态语篇的语义构型促动下对模态的选择过程。这里，第一步是将多模态语篇的语义特征与符号的供用特征进行匹配，找出话语的哪些特征与不同符号系统的符号供用特征中的哪些特征相对应。多模态语篇中模态协同过程对多模态语篇模态选择的恰当性具有重要意义。第二步是根据语义潜势或不同类型的供用特征，将语义特征分派给不同的模态。在这里，语篇中的实际符号是从相关的符号系统中选择的。由于它们来自不同类型的符号系统，所以它们在物质上表现为抽象符号、声音符号、文字符号、形象符号、动作符号和行为符号等。然而，它们在多模态语篇中并不是独立成分，而是相互融合、协同的。既然它们是不同的，它们怎么能互相融合呢?这是因为它们有一个共同点:它们都能体现意义，所以它们可以在意义层面上实现统一，这实际上是文化的最高层次。它们主要的不同是在媒介层面。这一阶段是根据不同系统的符号的“供用特征”实际选择模态的过程。模态选择的整个过程如图4所示。  图4 选择符号及其供用特征建构多模态话语 六、实例研究 为了说明上述框架的有效性，本文选取了水利部和中国节水办的节水广告视频剪辑作为实例进行多模态语篇分析。这是一个20秒的广告。接下来，我们将首先描述它的文化语境，包括相关的符号系统、体裁、情景语境、交际目的和多模态语篇设计。 1．文化语境 在语篇分析中，包括多模态语篇分析中，当我们描述文化语境时，实际上我们并不需要描述整个文化，而是只需描述与当前交际事件相关的文化方面即可。在中国节水文化的特定语境中，水基本上是自然的一部分，足够人类消费。然而，随着人类文明的发展，工业化和城市化发展迅速，人类可用的水源开始短缺。因此，有必要通过适当的途径来劝说大众节约用水，公益广告体裁是一个很好的方式。 1.1相关符号系统描述 就与当前交际事件相关的符号系统而言，这里的核心系统是人类文化和中国文化中的水意义系统。由于水对人类至关重要，所以它在文化中形成了一个庞大的系统。就形式而言，水有三种形式:气体、液体和固体。但水的典型形式是液体，因为水是人类生存必需的物质。所以液体水是水的代表形式。就水源而言，水来自大自然，或者来自天上的雨和雪，或者来自空中的雾和霜，或者来自陆地上的河流、湖泊、池塘，或者来自大海和大洋。另外，水可以被处理，从积极的角度看有淡水、海水、自来水、纯净水、矿泉水、净化水等;从消极角度讲有污水、脏水、废水等。不同类型的水以不同的形态存在，而且它们也大部分被符号化为语言符号。 在本广告中，系统相关部分是对陆地上的生命和环境起积极作用的部分，即陆地上未受污染的淡水。将海水和受污染的废水排除在要节约的水之外，废水应放在最底层。(见图5)。  图5 水的意义系统 然而，在一个与节约用水有关的交际活动中需要首先认识水系统，因为它也与我们为什么要节约用水有关。首先，水是生命的要素，地球上所有的生命形式都依赖于水。生命形式大致可分为三种类型:植物、动物和人类，每种类型都有自己的子类别，这里不作详细说明。其次，在水充足的环境里，各种生命焕发出勃勃生机。环境由土地、植物、动物和人类组成，包括人类文明。其他符号系统包括声响符号系统，比如流水声或鸟鸣声，以及作为环境背景组成部分的音乐声。(见图6)。 在这里，所有的系统、子系统及其特征都与交际事件相关，但也有一些在语篇中被突出，就像本广告中鸟和鱼在动物系统中被突出一样。 1.2体裁作为行为系统 在对相关符号系统进行描述之后，我们还需要了解实现交际目的的惯常方式，例如，用一种公益广告体裁，让普通大众接受一种理念:节约用水是一种责任。因而体裁是实现交际目的的一种潜在行动系统。  图6 环境系统 2．情景语境 情景语境的描述为多模态语篇意义构型的选择提供了基本条件，即交际的内容和领域、参与者及其交际方式和渠道。本交际事件的情景语境可以描述为: 1)话语范围:公益节水制度化推进:水被视为宝贵资源，应该节约用水。 2)话语基调:政府部门作为节水的推动者;大众作为推广活动的实施者;单向。 3)话语方式:口语、书面语、视听媒体;参与者之间没有视觉和听觉上的接触。 3．交际目的或兴趣 本交际活动的交际目的是说服公众节约用水(清洁的、陆地上无污染的淡水)。在描述完情景语境之后，我们需要找出达到交际目的的修辞策略和方法，即明确多模态语篇的体裁及其子范畴和阶段。在这里，说服公众在日常生活中节约用水的最佳选择是使用公益广告，告诉公众是时候在日常生活中节约用水了。所使用的基本修辞策略是水逐渐消失后的景象与节约用水后自然界生机盎然的景象的鲜明对比。具体来说，广告展示了浪费水的严重后果:对水过度消费后，所有形式的生命消失，环境遭到破坏;也展示了节约用水的好处:恢复所有生命形式和地球的美丽风景，人类文明也随之恢复。最后，声明节约用水是每个公民的责任。 公益广告的主要交际目的是纠正破坏公益的行为，包括以下三个必要成分:1)破坏公益的行为和结果;2)纠正破坏公益行为的措施;3)结果。本公益广告在开始阶段增加了:水给世界带来的美丽景象，在结尾增加了推广节约用水的可选成分。所以，该多模态语篇包括以下5个体裁结构成分:1)原来的美丽风景与各种形式的生命;2)水源短缺及对所有生命形式的破坏;3)节约用水的好处:使生命恢复;4)恢复一切形式的生命和构建了新的环境;5)声明节约用水是每个公民的责任。 4．设计 在确定体裁结构后，下一步就是从不同的符号系统中选择合适的符号，形成公益节水广告的多模态话语。符号系统中符号的选择是由符号在符号系统中的供用特征决定的。设计过程由一套原则来控制。但最宏观的模态选择原则是最终实现交际目的的有效性。在它下面，还有次原则，如经济原则，使用尽可能少的模态和符号。然而，在该语篇中，最相关的模态选择原则是代表性原则:选择一个典型的模态或模态特征来代表系统中全部或大部分的其他符号或符号特征，如植物、树木和草是最具代表性的生命现象，因为它是最基本和普遍的地球生命。在短短20秒的视频剪辑中，很难呈现出所有与水有关的生命形式，所以最好是选择最具代表性的生命形式来表示所有的生命。所谓“代表性”是用系统中的特征来代表整个系统，即用实例来代表它所代表的整体。同时，在体裁的不同阶段，语篇设计也需要选择不同的模态。更具体地说，这五个阶段分别按以下方式设计。(见图7的截图) 图7 节水公益广告截图 阶段1:背景:水(清澈的淡水)带来的鲜活美丽的景色 第一部分是关于水消失前的美丽风景的呈现。它呈现了一个熟悉的景象，呈现的模态是具有代表性的。石头、土地和水代表矿物层面，植物和歌唱的鸟儿代表生命层面。首先，水流动是水的典型特征;流水声使水流更生动、更真实。其次，鸟在歌唱:在陆地森林中，典型的动物是鸟类，所以选择鸟类作为陆地上动物的代表。第三，动态流动的水与静态的有石头和植物的土地形成对比:作为水的典型代表的淡水在河流中流动。第四，树和草生长茂盛:植物是最基本的低等生命形式，它构成了其他生命形式，包括草和树，作为生命的代表。欢快悦耳的音乐为生机盎然的环境增添了活力。 阶段2:故事发展:环境出了问题:生命随着水的减少和消失而消亡 第二部分是关于过度用水导致的自然变化。首先，水量减少，然后消失。结果植物变成黄色，然后死亡。鱼，作为水中动物的代表，随着水的消失而死亡并成为白骨。干旱的河床和沙漠被选为干旱土地的代表，因为河流位于大地最低点，所以如果河中无水，则任何地方都不会有水。沙漠是干旱地带的代表，因为它是陆地上最干燥的部分。结果是没有流动的水，也没有鸟儿歌唱。所有这些都创造了一种让人感到不愉快和不舒服的氛围。这种感受又得到了单调音乐的强化。在这个阶段，自然环境的变化是通过新的模态的协同作用来实现的。 阶段3:故事发展:解决方案是节水 第三阶段是关于如何节约用水的过程及其直接效果。当水消失时，所有的生命形式，包括人类，都会一起消亡，因此，节约用水成为必然。它可以分为三个阶段:1)人的一只手把一捧水滴到地上，一个嫩芽就随着水生长起来。然后五只手同时浇水，就帮助更多的植物生长。在此，人手是转喻，代表一个节约用水的人。人类的手被用来代表节约用水，因为节约用水者只能是人类:人类用他们的手来节约用水。2)河床被选为旱地的代表。植物的芽是随着水滴而生长的。植物再次被选为生命的代表:当植物生长时，所有的生命形式都生长。水是生命的救星。其次，一只手变成了五只，甚至更多，这意味着节约用水不仅仅是一个人的责任，而是多人、所有人的责任。当所有人都节约用水，世界将变成绿色。3)土地由沙漠转变为正常状态。这里再次选择河床和沙漠作为干旱的代表，这种变化是用水(新鲜的未受污染的水)使土地恢复正常。声响效果是通过从静音到悦耳的音乐强化愉悦的情感，而且声音越来越大。 阶段4:结果:节水效果 第四阶段是节水对各种生命形式的影响。首先，以液体淡水代表所有形式的水，正在蔓延到干旱的土地上。其次，植物、草和树，代表了所有的生命形式，它们从河床蔓延到陆地和山脉的顺序是从低到高，从简单到复杂。其结果是水在小溪中流动，鸟儿在森林中歌唱，这表明所有的生命形式都得到了拯救，恢复了正常。愉悦音乐再次强化了这种情景。 阶段5:推广:节约用水是每个人的责任 设计这个广告的最终目的显现出来:让每个人都知道节约用水是每个人的责任，并说服他们在日常生活中节约用水。这个阶段可以分为三个步骤:1)准备:将文字显示在屏幕上:“节约用水是每个人的责任。建设节水型社会。”2)前景化:相同的词语通过口播表述出来。相同的词语用另一种模态重现是社会交际中前景化的一种典型方式。3)突显后:屏幕上出现上海外滩图像，代表人类文明的杰出成就，然后是书面推广。这里的关键模态是口语，文字为辅，图像补充，展示谁是推广者，谁是节水者。 七、结语 综上可见，在多模态话语的建构和分析中，设计者熟悉多模态话语所涉及的符号系统以及系统中符号的供用特征是十分关键的。首先，他需要对语境敏感，包括文化语境和情景语境，如文化背景、所从事的活动、交际对象、交际目的和兴趣等。在语境的促动下，设计者要选择话语的意义构型，然后，要把这个意义构型与他掌握的所有模态系统中符号的供用特征联系起来，以便他能够在这些系统中选择实现意义构型的模态及其供用特征，从而使选择的模态尽量适合语境和交际目的，在受话者中产生最佳效果。在此，使话语的意义构型与设计者掌握的所有模态系统中符号的供用特征相联系，以最佳方式在这些系统中选择实现他的意义构型的模态及其符号的供用特征是关键。而这一关键过程的实现依靠设计者对所涉及的符号系统及其符号的供用特征的深刻认识和把握。 参考文献 Barthes,R.1977 Image-Music-Text,Fontana Press,London.edited and Translated by Stephen Heath. Bateman,J.,J.Wildfeuer&T.Hiippala.2017 Multimodality:Foundations,Research and Analysis:A problemoriented introduction.Berlin:M outon de Gruyter． Forceville,C.1999 Educating the eye?Kress and van Leeuw en's Reading Images:The Grammar of Visual Design,Language and Literature 8(2),163-178． Gibson,J.J.1977 The theory of affordances,in R.Shaw and J.Bransford,eds,Perceiving,Acting,and Knowing:Toward and Ecological Psychology,Erlbaum,Hillsdale,NJ:62-82． Halliday,M.A.K.1978 Language as Social Semiotic,Edw ard Arnold,London． Halliday,M.A.K.&Hasan,R.1989 Language,Context and Text:Aspects of Language in a Social-semiotic Perspective(2nd ed.).Oxford:Oxford University Press． Kress,G.2010 Multimodality:A Aocial Semiotic Approach to Contemporary Communication,Routledge,London． Kress,G.&van Leeuw en,T.2001 Multimodal Discourse:the Modes and Media of Contemporary Communication,Arnold,London． Kress,G.&van Leeuw en,T.2002 Colour as a semiotic mode:notes for a grammar of colour,Visual Communication 1(3),343-368． Kress,G.2003.Literacies in the New Media Age.London:Routledge． Kress,G.&T.van Leeuw en 2006[1996]Reading Images:the grammar of visual design,Routledge,London and New York． M achin,D.2007 Introduction to Multimodal Analysis,Hodder Arnold,London． M untigl,P.2004 M odelling multiple semiotic systems:The case of gesture and speech.In A.Ventola,C.Charles&M.Kaltenbacher.Perspectives on Multimodality.Amsterdam:John Benjamins:31-50． O'Toole,M.2011[1994]The language of Displayed Art,Routledge,Abingdon,Oxon． Saussure,F.1959[1915]Course in G eneral Linguistics,Peter Ow en Ltd.,London.edited by Charles Bally and Albert Sechehaye;translated by Wade Baskin． van Leeuw en,T.1999 Speech,Music,Sound,M acM illan,London． van Leeuw en,T.2009 Parametric systems:the case of voice quality,in C.Jew itt,ed.,The Routledge Handbook of Multimodal Analysis,Routledge,London:68-77． van Leeuw en,T.1991 Conjunctive Structure in Documentary Film and Television.Continuum.(1):76-114． van Leeuw en,T.&Boeriis,M.2017 Tow ards a semiotics of film lighting,in J.Wildfeuer and J.A.Bateman,eds,Film Text Analysis.New Perspectives on the Analysis of Filmic Meaning,Routledge,New York and Abingdon:24-45. （部分插图略，详见原文。） (责任编辑：admin) |