1. 应如何界定多模态话语?
对于多模态话语的定义,众多专家给出了自己的意见:张德禄认为,多模态话语涉及两种或两种以上模态, 是运用听觉、视觉、触觉等多种感觉,并通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。顾曰国指出,模态是“指人类通过感官(如视觉、听觉等)跟外部环境”(如人、机器、物件、动物等)之间的互动方式。用单个感官进行互动的叫单模态,用两个的叫双模态,三个或以上的叫多模态。胡壮麟把多模态话语定义为有表达意义的两个或两个以上单模态构成的话语。李战子提出“多模态指的是除了文本之外,还带有图像、图表等的复合话语,或者说任何由一种以上的符号编码实现意义的文本”。朱永生还给出了两个多模态话语识别的标准:“第一条标准是看涉及的模态种类有多少,第二条标准是看涉及的符号系统有多少。有些话语虽然只涉及一种模态,但包含两个或两个以上的符号系统,我们也罢这些话语看作是多模态话语。”
综上所述,在多模态话语的定义上存在以模态为标准还是以符号系统为标准的问题。根据模态即按感官分的话,由于同一感官(如视觉)可能涉及两种以上符号系统(文本、图像、图表),所以朱永生的第二条标准或李战子的定义比较清晰,可避免争议。
2.试分析多模态话语的两类媒体系统的含义及其相互关系。
多模态话语的媒体系统可分为语言媒体和非语言媒体两类(前者是以语言为信息载体,后者则是以非语言的物质为媒介)。语言媒体主要有两种:声波传导的声音符号和由笔等生成的书写符号,是语言传播信息的主要媒介。非语言媒体主要包括肢体动作和非肢体媒体。肢体动作根据功能可分为五大类:象征性行为、解说性行为、情绪表达行为、调控行为、体适性行为。而非肢体媒体主要包括工具和环境两个方面。
不同模态的媒体之间的关系呈现了多样性和复杂性,可大致分为互补和非互补关系:当一种或几种模态对某种模态起到强化、补充、调节、协同作用时,它们之间即构成互补关系;当第二种或第三种模态对第一种在意义的体现上并没有多大的作用时,它们之间就是非互补关系。
3.你认为多模态话语研究目前面临的主要课题是什么?
多模态话语中不同模态内部意义的构建以及不同模态的媒体之间如何相互关联,如何协同从而实现讲话者要表达的意义,是多模态话语研究的重要课题。在多模态话语构建过程中,由于各个模态之间呈现复杂性和多样性,不能像单一模态那样运用相关理论加以分析研究,而是要求我们全面准确地理解多模态话语意义,分析把握不同媒体系统之间的关系,掌握特定话语形式的概念意义及其组合意义这将是多模态话语研究亟待解决的重要任务。
4.多模态话语研究的主要理论视角有哪些?
多模态话语研究的主要理论视角有:一、基于系统功能语法的社会符号学,其认为图像等非语言媒体形式是社会符号,可以用社会符号学的方法加以分析。语言的语法体系决定如何使用组词成句乃至语篇,而同样,视觉的语法形式决定了视觉符号如何组成不同的视觉陈述。这一理论视角谋求打破语言和视觉符号的界限,以共同的语法体系分析所有的社会符号。二、交互社会学分析方法,该方法认为人们在交际时采用不同的方式,通过话语构建他们所处的情景和他们在该情景下的身份。这种社会交互往往是多模态的,不同的交际形式以不同的程度参与交互。三、认知科学的分析方法,该方法认为交际时各方运用多种刺激手段调节对方的认知环境,以达到自己的交际意图。刺激手段包括语言和非语言等各种模态。在认知科学看来,交际过程实质就是交际者如何选择不同的模态进行认知上连贯交际的过程。四、语料库分析法,这一方法运用语料库技术,对多模态语篇进行转录并分析,便于研究者对其做量化研究。
5.试论系统功能语言学对多模态话语分析的重要贡献
多模态话语分析主要理论基础是系统功能语言学,并从皮尔斯等人的符号学理论中吸取了媒介、对象、解释三位一体等理念。系统功能语言学对多模态话语分析的重要贡献,具体来说有:多模态话语分析从系统功能语言学那里接受了语言是社会符号( social semiotic)和意义潜势(meaning potential)的观点,认为语言以外的其他符号系统也是意义的源泉;接受了系统理论,认为多模态话语本身也具有系统性;接受了纯理功能假说(metafunction hypothesis),认为多模态话语与只包含语言符号的话语一样,具有多功能性,同时具有概念功能、人际功能和语篇功能;接受了语域( register)理论,认为语境因素和多模态话语的意义解读之间有着密不可分的联系。
6.试论多模态信息教学模式(MIC)的意义
多模态信息教学模式(MIC)将教学过程看成多模态信息认知过程,强调师生交互、各种资源的整合利用、各种信息的处理以及学生认知能力的提高。教-学活动在多媒体环境中进行,以多模态的信息(包括语篇信息和非语篇信息)处理为交际渠道,基础是认知。师生之间或学生之间通过发送和接收信息,对相互的认知产生影响,促进认识能力的提高。该模式对多模态的教-学和评估予以了足够的重视:首先, 在多模态教学过程中,多种教学工具的使用和教师的动作、身姿、手势、讲话等模态全面调动了学生的多模态资源,从而在师生之间传递多模态综合信息系统;其次,在评估学生能力方面,除了考察学生对文章的理解外,课堂讨论、回答问题、多模态获取信息能力等都可以作为评价学生的因素考虑在内。
7.试简单描述大学英语课堂教学多模态话语建构模型(MAP)。
大学英语课堂教学多模态话语建构模型(MAP)指的是在多媒体、多模态条件下以PIE为核心、以APPLIE为五大支点的大学英语课堂教学设计原则模型。其中PIE指大学英语课堂教学设计和评价的三大核心原则(Merrill2009:15-26):有效性(Productive)、互动性(Interactive)、参与性(Engaging),其核心是互动性(Interactive)。课堂教学的关键在于互动,而互动教学成功的关键在于教学设计,因此要悉心布置教学设计中的五大支点,APPLE则代表了这五大支点:即课堂导入(activation)、信息呈现(presentation)、同学合作(peer-collaboration)、师生互动(learner-teacher interaction)和学习评价(evaluation).课堂导入遵循ABCS活动设计原理(Norton&Wiburg2003:48-49), 通过真实性、建构性、分享型等语言交际活动,创设良好的英语情景,激发学生的兴趣,激活思维,促使他们积极参与和投入学习。信息呈现阶段区别于了以往以教师为主的PPP课堂教学模式,突出多媒体环境下以计算机为演示工具的多模态外语教学,强调学生及学习小组基于任务的课堂展示。该研究把建构大学英语课堂多模态话语建构原则模型作为研究起点,结合了模型建构、教师行动研究和教学评价,将教师行动研究成果及综合性评价结果转化为指导大学英语课堂教学多模态话语的组织原则和策略。该研究具有鲜明的方法论意义。一方面,MPA原则模型为教师行动研究提供了理论框架,另一方面,教师的行动研究则为MPA原则的细化和提炼提供了实践检验。
8.你认为目前多模态话语分析的局限性在哪里?
多模态话语分析的局限性在于:一,由于多模态话语分析是跨学科的研究分析,因此从事多模态话语分析的绝大多数是系统功能语言学家,而他们的研究难免带有学科偏见和局限性,所以,只有与其他学科的学者共同合作,多模态话语的意义才能得到更加全面正确的解读。二,由于各模态之间的关系呈现复杂性和多样性,各种模态之间的互动关系和互补作用难以确定。三, 多模态话语分析中的语法分析缺乏严格语法意义上的标记和线性关系,因此带有很强的主观性,在很大程度上依赖于分析者本人的理解。
9.请描述你心目中的多模态话语分析的未来发展前景。
多模态之间的话语关系实际上是不同语法体系体现话语意义时的相互关系,在此层面上每一种模态都有自己的形式系统,如视觉语法、听觉语法、触觉语法等。因此多模态话语研究的重点是不同模态之间的形式特征及其相互关系。探讨这些不同模态的语法系统是未来的研究课题,而认知语言学在多模态话语分析领域将会发挥更大作用。结合研究现状,在理论建设方面,由于我国多模态话语分析仍走着拿来主义路线,但没有自成体系。从长远来看,这对于多模态话语分析的学科建设发展不利。长此以往,多模态话语分析只能停留在纯应用性的语言研究层面而无法发展为独立的学科,难以有可持续性活力,因此引进不是终极目标。研究者们应从系统功能语言学,认知语用学等各种语言理论中寻找对自身有用的部分加以应用,并结合我国社会语言教育文化等方面的实际情况,积极创新。多模态话语分析包罗万象,发展前景广阔,是当今信息社会一个客观存在的现象。多模态话语分析较强的可操作性对于进一步推动话语分析,拓展人类自然语言的研究具有十分重要的意义。 (责任编辑:檀敏璐)