外語數(shù)字教材的多模態(tài)符號設(shè)計研究

　　〔摘要〕 數(shù)字教材是教育信息化革命的產(chǎn)物，是外語教學(xué)的重要資源載體。研究以國家開放大學(xué)公共英語課程多媒體數(shù)字教材《人文英語》為語料，運用社會符號學(xué)和多模態(tài)話語分析的相關(guān)理論，圍繞多模態(tài)語篇作者的符號實踐、外語教學(xué)語境中的社會實踐兩個維度，從概念意義建構(gòu)、人際意義建構(gòu)、模態(tài)間關(guān)系三個方面進(jìn)行深入闡釋，并提出研究對我國 EFL 教學(xué)的啟示。

　　本文源自王琴， 北京科技大學(xué)學(xué)報(社會科學(xué)版) 發(fā)表時間：2021-04-23《北京科技大學(xué)學(xué)報》(月刊)創(chuàng)刊于1955年，是由北京科技大學(xué)主辦的專業(yè)性學(xué)術(shù)科技期刊。本刊旨在推動國內(nèi)外學(xué)術(shù)界的交流與合作，主要刊登礦業(yè)與環(huán)境、冶金與材料、設(shè)備與能源(冶金)、控制與決策(鋼鐵企業(yè))等領(lǐng)域的最新研究成果。為冶金工業(yè)類中文核心期刊、中國科技論文統(tǒng)計源期刊和中國科學(xué)引文數(shù)據(jù)庫統(tǒng)計源期刊。

　　〔關(guān)鍵詞〕 數(shù)字教材; 社會符號學(xué); 多模態(tài)話語分析; 設(shè)計; 多元讀寫教學(xué)法

　　數(shù)字革命始于 20 世紀(jì) 50 年代末，信息技術(shù)的日益廣泛應(yīng)用改變了傳統(tǒng)的思維模式和交際方式，也因此對教育產(chǎn)生深遠(yuǎn)的影響，數(shù)字教材應(yīng)運而生。從紙質(zhì)教材到數(shù)字教材的演變，不僅印證了教育信息化發(fā)展進(jìn)步的軌跡，也反映了人類社會知識觀和學(xué)習(xí)理論的演進(jìn)史。從 20 世紀(jì) 60 年代的行為主義到 80 年代的認(rèn)知主義，直至 80 年代中期以后向社會建構(gòu)主義轉(zhuǎn)型，都推動了數(shù)字教材的不斷開發(fā)和完善[1]。

　　數(shù)字教材是集合了教科書、音聲、靜物畫、動畫和影片等多種表達(dá)方式的多媒體信息形態(tài)的教材，綜合了旨在實現(xiàn)教育目標(biāo)而數(shù)字化的學(xué)習(xí)素材與管理學(xué)習(xí)過程的信息學(xué)習(xí)系統(tǒng)[2]。數(shù)字教材是教育信息化革命的產(chǎn)物，是外語教學(xué)的重要資源載體。迄今，數(shù)字教材呈現(xiàn)靜態(tài)媒體、多媒體及富媒體三種發(fā)展形態(tài)，它具有直觀性、即時性、多模態(tài)、開放共享和動態(tài)交互等特性。從靜態(tài)超文本的教育信息化 1. 0，過渡到社交媒體的網(wǎng)絡(luò)計算和社會參與網(wǎng)絡(luò)為主的教育 2. 0 時代，直至邁入以云計算和全球互聯(lián)網(wǎng)為特征的教育 3. 0 ，數(shù)字教材的開發(fā)和研究引發(fā)學(xué)界的廣泛關(guān)注和興趣。

　　本研究聚焦國家開放大學(xué)英語教研團(tuán)隊編寫的全媒體數(shù)字教材———公共英語系列教材之《人文英語》( 1 ～4 冊) ，該教材主要面向開放大學(xué)系統(tǒng)、職業(yè)院校的在校生和職場人士。團(tuán)隊開發(fā)并推出數(shù)字閱讀云平臺———“開放云書院”，學(xué)習(xí)者下載客戶端掃描二維碼，即可獲取數(shù)字教材和學(xué)習(xí)資源，體驗移動學(xué)習(xí)的魅力。本文擬從多模態(tài)社會符號學(xué)的理論視角對數(shù)字教材進(jìn)行多模態(tài)話語分析，并借鑒“新倫敦學(xué)派”( 以下簡稱 NLG) 的多元讀寫教學(xué)法，提出對外語教學(xué)實踐的指導(dǎo)建議。本研究擬回答以下問題:

　　( 1) 數(shù)字教材多模態(tài)語篇作者的符號實踐如何建構(gòu)學(xué)科知識? 建構(gòu)了怎樣的社會關(guān)系?

　　( 2) 語篇作者運用了哪些模態(tài)和符號資源? 不同模態(tài)間的關(guān)系怎樣?

　　( 3) 如何利用數(shù)字教材的技術(shù)優(yōu)勢開展 EFL 教學(xué)?

　　一、文獻(xiàn)回顧

　　( 一) 數(shù)字教材的國內(nèi)外研究現(xiàn)狀

　　筆者梳理現(xiàn)有文獻(xiàn)發(fā)現(xiàn)，國外學(xué)者著重從教學(xué)改革、學(xué)習(xí)者、教師和教育技術(shù)四個維度開展研究。Kim & Jung [3]探討了教育技術(shù)融合背景下韓國數(shù)字教材的教學(xué)改革面臨的機(jī)遇、挑戰(zhàn)及教改實施模式，研究表明教材對學(xué)生的影響與地域、學(xué)習(xí)者的學(xué)業(yè)水平相關(guān)。歐洲和亞洲學(xué)者主要從學(xué)習(xí)者的視角出發(fā)，圍繞數(shù)字教材的學(xué)習(xí)效果[4-8]和學(xué)習(xí)策略[9-10]展開討論，也有歐美學(xué)者從教師維度開展研究[11-12]。Railean [13]博士在他的專著 User Interface Design of Digital Textbooks 中，從回顧教育技術(shù)的發(fā)展歷程入手，運用數(shù)字學(xué)習(xí)理論探討了數(shù)字教材用戶界面的設(shè)計原則和模式，對推動數(shù)字教材的開發(fā)應(yīng)用有較強(qiáng)的指導(dǎo)和應(yīng)用價值。相比之下，國內(nèi)學(xué)者更偏重于從教材的數(shù)字化出版[14-15]、教材開發(fā)建設(shè)與發(fā)展[16-18]、教師的技術(shù)接受度[19-20] 和 教 學(xué) 改 革 實 踐[21] 等 方 面 進(jìn) 行 探 討。 Gu [22]采用文獻(xiàn)研讀法，對數(shù)字教材的國內(nèi)外研究、各國項目報告和使用案例、使用影響因素和學(xué)習(xí)效果研究等進(jìn)行了較全面的回顧、梳理和展望，該綜述性研究具有較高的學(xué)術(shù)價值和較強(qiáng)的實踐指導(dǎo)意義。

　　綜上，國內(nèi)外學(xué)者在對數(shù)字教材的研究總體上呈平穩(wěn)上升趨勢，研究興趣既涵蓋共同關(guān)心的熱點領(lǐng)域，如教學(xué)改革、教師研究等，又表現(xiàn)出各自的偏好和側(cè)重。從研究方法看，既有偏理論的思辨性研究，也有重實踐應(yīng)用的實證性研究，但缺乏從社會符號學(xué)角度對數(shù)字教材多模態(tài)語篇的意義建構(gòu)及符號實踐進(jìn)行探究，且對我國外語教師使用數(shù)字教材開展 EFL 教學(xué)方法的探討也語焉不詳，這正是本研究亟待解決的問題。

　　( 二) 英語教材的多模態(tài)話語研究

　　Bezeman & Kress [23]運用歷時研究方法，分析了國外中學(xué)英語教材的多模態(tài)設(shè)計，并從社會符號學(xué)視角闡 釋 了 70 年 間 英 語 教 科 書 發(fā) 生 的 深 刻 變 化。 Chen [24]運用多模態(tài)話語分析和評價語義系統(tǒng)框架，分析中小學(xué) EFL 課程大綱中的情感、態(tài)度的多模態(tài)符號意義建構(gòu)及個體語義發(fā)生的“再語境化”; 王琴[25]以美國語文教材———《Treasures》為語料，運用系統(tǒng)功能語言學(xué)和社會符號學(xué)理論，探討教材中的人際符號資源及符號設(shè)計原則，揭示教材編寫者如何挖掘多模態(tài)意義潛勢與讀者互動; Feng [26]在社會符號學(xué)和評價系統(tǒng)的框架下，探討香港中小學(xué) EFL 教材中道德價值觀的多模態(tài)話語建構(gòu)及道德價值觀在教材中的分布規(guī)律。

　　上述文獻(xiàn)中英語教材的多模態(tài)研究均以傳統(tǒng)紙質(zhì)教材為研究對象，而對數(shù)字教材鮮有關(guān)注; 教材的受眾也多以中小學(xué)生為主，而對以成人 EFL 學(xué)習(xí)者為受眾的教材研究少有涉足。本文將從社會符號學(xué)的理論視角審視數(shù)字教材的多模態(tài)話語建構(gòu)，并結(jié)合多元讀寫教學(xué)法，探討數(shù)字教材對我國 EFL 教學(xué)的啟示。

　　二、理論基礎(chǔ)

　　( 一) 社會符號學(xué): 意義、符號和模態(tài)設(shè)計

　　社會符號學(xué)是對符號系統(tǒng)如何在社會語境中生成意義的功能研究，它關(guān)注在特定社會文化語境的社會交際中生成的意義。符號是符號學(xué)的核心單位，是形式和意義的融合。區(qū)別于皮爾斯的普通符號學(xué)和索緒爾的符號觀，Kress 的社會符號學(xué)[27]10 認(rèn)為，符號是社團(tuán)成員在社會交際中產(chǎn)生的，符號的形式和意義之間的關(guān)系不是任意的，而是由符號制造者的興趣決定。符號的形式和意義之間存在“動機(jī)”( motivated) 關(guān)系，并強(qiáng)調(diào)兩者之間的適合性( aptness) 。符號系統(tǒng)是交際過程中意義生成的資源。處在一定社會語境中的個體，利用特定社會文化中可資獲得的符號資源，主動參與符號制造和社會交際過程。

　　Kress 的社會符號學(xué)理論融合了 Halliday 關(guān)于 “語言作為社會符號的觀點”，發(fā)展并創(chuàng)立旨在解釋所有符號意義生成和傳播的符號學(xué)理論。根據(jù) Halliday [28]的符號學(xué)方法，一個完整的交際理論需要表征概念功能( ideational function) ，即經(jīng)驗世界的行為、狀態(tài)和事件; 人際功能( interpersonal function) ，即交際參與者的社會關(guān)系; 以及組篇功能( textual function) ，語篇局部以及語篇與語境之間的整體連貫。每種符號資源所做的選擇同時實現(xiàn)三大元功能并整合其意義。所有模態(tài)，如姿勢、動作和視覺模態(tài)等，如同語言，都是在社會使用過程中形成社會資源的模態(tài)[29]。每個模態(tài)系統(tǒng)在整個話語意義表達(dá)中都扮演著獨特角色，它們在交際過程話語整體意義的建構(gòu)中是互補(bǔ)的[30]。

　　設(shè)計是社會符號學(xué)的核心概念。在語篇交際中，設(shè)計可理解為“修辭者把自己對交際環(huán)境的評估轉(zhuǎn)化為符號學(xué)塑造的物質(zhì)的過程”。Kress 以“土豆削皮器”為例，提出“設(shè)計是對一系列社會關(guān)系、社會實踐以及目的、任務(wù)、目標(biāo)、情感組成的結(jié)構(gòu)體集合的安排”的觀點。設(shè)計體現(xiàn)、投射和建構(gòu)社會關(guān)系，每一個語篇的設(shè)計都是從符號資源意義潛勢構(gòu)成的意義網(wǎng)絡(luò)中選擇的結(jié)果[27]132-137 。

　　多模態(tài)設(shè)計，是指運用不同符號模態(tài)，如圖像、文字、色彩和布局去展現(xiàn)、體現(xiàn)及重新語境化社會關(guān)系和社會地位，為特定受眾呈現(xiàn)關(guān)于經(jīng)驗世界的知識體系。設(shè)計體現(xiàn)和投射社會關(guān)系，并受社會和技術(shù)變化的影響和塑造[27]139 。本文所指的多模態(tài)設(shè)計主要是從數(shù)字教材開發(fā)者及設(shè)計者的視角，故下文采納 Kress 的定義。

　　( 二) 多模態(tài)話語分析( MDA)

　　MDA 主要是在 Halliday 創(chuàng)立的系統(tǒng)功能語言學(xué)理論基礎(chǔ)上發(fā)展起來的。具體地說，系統(tǒng)功能語言學(xué)關(guān)于“語言是社會符號、語言是意義潛勢( Meaning Potential) 系統(tǒng)、純理功能假說( Metafunction Hypothesis) 、語篇是語言系統(tǒng)的實例化、語言層級間的‘體現(xiàn)’以及語境思想”的論述，對于多模態(tài)話語分析理論框架的不斷完善具有十分重要的借鑒意義。因篇幅所限，此處不再累述。

　　朱永生[31]84-85 認(rèn)為，要正確解讀多模態(tài)話語的意義，至少須要厘清兩方面的關(guān)系: 一是確定不同成分之間的語法關(guān)系，如從三大元功能分析圖像等視覺符號的語義關(guān)系; 二是要弄清不同模態(tài)，例如文字、圖像、動畫和音樂之間的關(guān)系。Barth [32]認(rèn)為圖文之間有錨定、闡釋和接續(xù)三種關(guān)系，Martinec& Salway [33]在相互依賴關(guān)系上區(qū)分平等與不平等關(guān)系、圖文邏輯語義關(guān)系被概括為投射和擴(kuò)展兩類，Royce [34]從概念意義和人際意義關(guān)系的角度研究不同意義間的互補(bǔ)關(guān)系。然而，上述的研究框架只適用于圖文關(guān)系，且較為粗略，在分析中難免會出現(xiàn)模棱兩可、難以界定的情況。張德祿[35-36]對多模態(tài)話語中模態(tài)間關(guān)系進(jìn)行了更加深入的研究，認(rèn)為還需區(qū)分互補(bǔ)關(guān)系和非互補(bǔ)關(guān)系。在互補(bǔ)關(guān)系中，區(qū)分強(qiáng)化關(guān)系和非強(qiáng)化關(guān)系，前者包括突出、主次和擴(kuò)充; 后者包括交叉、聯(lián)合和協(xié)調(diào)。而非互補(bǔ)關(guān)系可區(qū)分為交疊、內(nèi)包和語境交互三子類，該分析框架詳見圖 1 [35]27 。

　　三、數(shù)字教材的多模態(tài)話語分析

　　筆者選取國家開放大學(xué)英語教研團(tuán)隊編寫的公共英語多媒體數(shù)字系列教材之《人文英語》( 1 ～ 4 冊) 為語料。語料采用“冊-單元-頁碼”的順序標(biāo)注，例如“B1 -U1 -P4”，即“第 1 冊第 1 單元第 4 頁”( 下同) 。下面將圍繞多模態(tài)語篇意義制造者的符號實踐、教學(xué)語境中的社會實踐兩個維度，從教育多模態(tài)語篇的概念意義建構(gòu)、人際意義建構(gòu)、模態(tài)間關(guān)系三個方面進(jìn)行深入分析和闡釋。

　　( 一) 數(shù)字多模態(tài)教育語篇的學(xué)科知識建構(gòu)

　　學(xué)科是知識和經(jīng)驗的結(jié)合，學(xué)科知識建構(gòu)離不開對經(jīng)驗世界的行為、狀態(tài)和事件的描寫與闡釋，知識和經(jīng)驗兩者相互交織，共同作用于學(xué)科體系的構(gòu)建。下文所討論的數(shù)字教材多模態(tài)語篇的概念意義將聚焦語篇作者如何建構(gòu)語言學(xué)科知識。

　　傳統(tǒng)紙質(zhì)教材的編排依據(jù)話題內(nèi)容將學(xué)科知識按學(xué)習(xí)時間的先后順序進(jìn)行線性排列，傳統(tǒng)的語言教學(xué)通常也是遵循紙質(zhì)教材的編寫順序開展教學(xué)。就概念意義而言，數(shù)字教材突出每個單元主題知識結(jié)構(gòu)的層級性，字體、字號和顏色都成為符號設(shè)計可資利用的資源。

　　學(xué)習(xí)界面顯示，粗體文字用來表示每一單元的根目錄，如“Learning Objectives”“Listening & Speaking” “Reading & Writing”，根目錄下面的子目錄字體相對較細(xì)，字號略小; 知識結(jié)構(gòu)的排列呈橫向和縱向排列，橫向排列的項目在任務(wù)類型和難度上具有相似性，均屬于同一語言技能導(dǎo)向的語篇，如聽說技能、閱讀技能等; 縱向排列由上至下按照語言知識從抽象到具體、從輸入性到輸出型語言技能的順序排列，學(xué)習(xí)任務(wù)難度依次遞增。

　　讀者點擊橙色按鈕，即可打開下拉菜單，瀏覽具體語言功能對應(yīng)的句法結(jié)構(gòu)，符號設(shè)計者將語言系統(tǒng)的語義層與詞匯語法層的抽象“體現(xiàn)”( Realization) 關(guān)系以下拉菜單式嵌入結(jié)構(gòu)方式呈現(xiàn)。此外，顏色也是具有概念意義表征的模態(tài)，紫色代表一級目錄或根目錄，如篇章標(biāo)題或題目說明以及語言文化方面的核心知識點; 黑色表示根目錄下面的子目錄或二級目錄，如文章正文、功能句型范例和語法講解，是更詳細(xì)具體的知識點; 鮮艷的橙色用來表達(dá)“可選擇”“可參考”或者“可控制”的概念意義，主要交際目的在于提醒、提示和啟發(fā)學(xué)習(xí)者。

　　( 二) 數(shù)字多模態(tài)教育語篇的人際關(guān)系建構(gòu)

　　教育技術(shù)重塑了數(shù)字教材的多模態(tài)話語。傳統(tǒng)紙質(zhì)課本為載體的課堂教學(xué)主要以教師為中心，教師主導(dǎo)學(xué)習(xí)進(jìn)度、掌握學(xué)生的學(xué)習(xí)情況，統(tǒng)一步調(diào); 而數(shù)字教材的設(shè)計更加符合“以學(xué)生為中心”的教學(xué)組織原則，學(xué)生可以自由選擇學(xué)習(xí)內(nèi)容、學(xué)習(xí)進(jìn)度和閱讀路徑，以及學(xué)習(xí)互動和評價方式，有助于最大限度激發(fā)學(xué)習(xí)者的學(xué)習(xí)自主性，發(fā)揮學(xué)習(xí)者主觀能動性。

　　從話語意義的人際功能看，多模態(tài)符號系統(tǒng)建構(gòu)了師生之間新型的人際關(guān)系。學(xué)習(xí)者界面的多模態(tài)話語意義的人際互動主要表現(xiàn)為三個方面: 學(xué)習(xí)者與移動學(xué)習(xí)終端的互動、學(xué)習(xí)者與數(shù)字教材學(xué)習(xí)資源的互動以及學(xué)生之間、師生之間的互動。以與移動學(xué)習(xí)終端，如手機(jī)、pad 或電腦屏幕的互動為例，學(xué)習(xí)者點擊菜單按鈕，自由選擇閱讀路徑，也可以點擊“索引” 圖標(biāo)，定位導(dǎo)航學(xué)習(xí)內(nèi)容，用橫屏式翻頁模式進(jìn)行閱讀。再者，學(xué)習(xí)者與數(shù)字學(xué)習(xí)資源的互動包括對話框、自主反饋和系統(tǒng)即時反饋三種方式。

　　學(xué)習(xí)者在閱讀材料過程中，可以點擊“錄音機(jī)” 功能按鈕進(jìn)行自主朗讀訓(xùn)練，當(dāng)對話框彈出“是否保存錄音”問話時，學(xué)習(xí)者單擊“確定”，即可保存朗讀學(xué)習(xí)記錄。當(dāng)學(xué)習(xí)者聽完對話錄音后，需將備選詞組或者短語拖動到相應(yīng)的句子中方可完成練習(xí)，學(xué)習(xí)點擊“key”，屏幕上即刻彈出正確的答案或選項，學(xué)習(xí)者通過屏幕的自動反饋了解學(xué)習(xí)效果。此外，系統(tǒng)具有即時反饋的功能，答案在學(xué)習(xí)者提交作業(yè)的同時即刻彈出，學(xué)習(xí)者可選擇反復(fù)多次練習(xí)。

　　同時，借助網(wǎng)絡(luò)學(xué)習(xí)社群，在學(xué)習(xí)者之間以及師生之間開展以線上答疑、學(xué)習(xí)反饋、小組討論等多種形式的互動交流，便于教師及時了解學(xué)習(xí)者的學(xué)習(xí)進(jìn)展和學(xué)習(xí)效果，從而構(gòu)建了以多媒體數(shù)字學(xué)習(xí)資源為依托的開放、民主、和諧、平等的新型師生關(guān)系。

　　( 三) 模態(tài)間關(guān)系

　　多模態(tài)語篇的語篇意義指語篇與語境之間，語篇內(nèi)部不同部分之間的關(guān)系。模態(tài)間關(guān)系也是語篇意義的重要方面。語料分析顯示，語篇作者調(diào)用了書面文字、口語聲音、靜態(tài)圖像、動畫、顏色和布局六種主要模態(tài)，模態(tài)間關(guān)系可大致概括為以下幾種類型:

　　1. 互補(bǔ)—非強(qiáng)化—協(xié)調(diào)關(guān)系

　　所謂模態(tài)互補(bǔ)，是指一種模態(tài)的話語不能充分表達(dá)完整的意義，需要借助另外一種模態(tài)來補(bǔ)充。互補(bǔ)關(guān)系又可細(xì)分為強(qiáng)化和非強(qiáng)化兩類; 在強(qiáng)化關(guān)系中，一種模態(tài)是主要的交際形式，而另一種或者多種模態(tài)形式是對它的強(qiáng)化或者輔助，如只提供背景信息; 而非強(qiáng)化關(guān)系中兩種模態(tài)缺一不可，互為補(bǔ)充。

　　在電子教材中，語言模態(tài)通常用于描述學(xué)習(xí)任務(wù)的具體要求和指令，圖像和文字模態(tài)協(xié)同補(bǔ)充新的語境信息。例如“贍養(yǎng)”“原告、被告”等詞匯向讀者暗示交際角色之間的人物關(guān)系( 父子、父女、兄妹、姐弟關(guān)系等) 、起訴的緣由( 子女拒絕承擔(dān)贍養(yǎng)父母的義務(wù)) 等語境要素，法官手上的法槌以及圖像中各個參與者的位置關(guān)系暗示人物身份地位及權(quán)力關(guān)系。法官位于圖像的中心位置，是審理訴訟案件的核心關(guān)鍵人物，法官是“法律”“正義公平”的象征，在法庭交際語境中，其權(quán)力地位遠(yuǎn)遠(yuǎn)高于“原告”和“被告”雙方，且雙方在法庭審判語境中所處的身份地位是處于有矛盾沖突的平等雙方。在教學(xué)語境中，語言模態(tài)和圖像模態(tài)協(xié)同作用，兩者缺一不可，目的在于幫助學(xué)習(xí)者充分理解學(xué)習(xí)任務(wù)的細(xì)節(jié)信息，以確保其順利完成學(xué)習(xí)任務(wù)，這對學(xué)習(xí)者的多模態(tài)讀寫能力提出了更高要求。

　　2. 非互補(bǔ)—內(nèi)包關(guān)系

　　非互補(bǔ)關(guān)系表示第二種模態(tài)對第一種在意義的體現(xiàn)上并沒有大的貢獻(xiàn)，但仍然作為一種模態(tài)出現(xiàn)。非互補(bǔ)關(guān)系下面又可分為三大子類: 內(nèi)包、交疊和語境交互。內(nèi)包關(guān)系即多種不同或者同種模態(tài)，對整體意義的表達(dá)沒有新的貢獻(xiàn)，而只給予更加具體的信息。內(nèi)包又可細(xì)分為整體與部分和抽象與具體兩種關(guān)系。

　　以“提倡人們將廢物循環(huán)再利用”為環(huán)保主題的語篇為例，位于圖像顯著位置的是一只用廢棄垃圾做成的花瓶，整篇文章是而圖像與文中的“vases made from glass bottles”這個名詞短語形成“語義同指關(guān)系 ( semantic co-reference) ”。圖像模態(tài)提供的只是部分信息，對語篇整體意義的表達(dá)沒有貢獻(xiàn)。下面舉一個內(nèi)包關(guān)系的例子，如當(dāng)前的學(xué)習(xí)任務(wù)是“要求為人力資源部經(jīng)理寫一份英語會議紀(jì)要”，書面文字仍是主要交際模態(tài)，語篇作者調(diào)用語言文字和圖像模態(tài)為學(xué)習(xí)者創(chuàng)設(shè)虛擬的目的語交際語境，即圖像模態(tài)沒有附加任何語義信息，而是將交際場景和交際目的更加具體化，用寫作工具( 紙、筆、電腦) 和寫作環(huán)境( 咖啡杯、辦公室) 來隱喻表征寫作過程和寫作結(jié)果，屬于從抽象到具體的內(nèi)包關(guān)系。

　　3. 非互補(bǔ)—依賴型情境交互關(guān)系

　　文字與圖像也會呈現(xiàn)“非互補(bǔ)”關(guān)系。語篇在結(jié)尾段落中提出論點，“hard work and relaxation make a well-balanced lifestyle”，而“天平”圖像與文章整個段落在語義上構(gòu)成同指呼應(yīng)，與“天平”相關(guān)的語義要素進(jìn)入語篇的整體語義域中，語篇呈現(xiàn)出較強(qiáng)的情境依賴性; 而圖片下方的瑜伽運動是對文段中“relax”詞匯的具體實例化，也與左圖中的部分圖像信息形成語義的上下義關(guān)系。

　　4. 互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系的矛盾共現(xiàn)

　　研究發(fā)現(xiàn)，互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系也會出現(xiàn)在同一語篇中。例如第四冊教材第七單元的聽力材料是一篇有關(guān)“法律訴訟案件”的對話，整個多模態(tài)語篇運用了文字、聲音和圖像三種模態(tài)。書面文字仍是主要的交際模態(tài)，圖像顯示的是被告與律師之間的交談現(xiàn)場，用于輔助書面文字和對話聲音的口語材料，提供交際語境要素，如交際環(huán)境( 律所辦公室) 、法官判案工具( 法典和法槌) 等，因而圖像與文字之間，以及圖像與聲音模態(tài)之間都表現(xiàn)為“互補(bǔ)—強(qiáng)化—突出” 關(guān)系，即突出文字模態(tài)，而圖像只是提供背景信息。

　　然而，聲音與書面文字模態(tài)使用不同的模態(tài)表達(dá)相同的語義，兩者呈現(xiàn)“非互補(bǔ)—交疊—冗余”關(guān)系，若任去其一，都可以與圖像模態(tài)完整地表達(dá)意義。但是從二語學(xué)習(xí)和外語教學(xué)的角度來看，語篇作者將兩種冗余的模態(tài)用于教學(xué)多模態(tài)語篇，其目的可能在于對二語學(xué)習(xí)者進(jìn)行聽覺語音、視覺圖像、視覺文字的多感官協(xié)同刺激，提供豐富的語言交際情境，有助于強(qiáng)化學(xué)習(xí)者對語篇的理解和意義建構(gòu)，從而間接影響二語輸出質(zhì)量和二語學(xué)習(xí)效果。

　　四、教學(xué)啟示

　　當(dāng)今世界，隨著經(jīng)濟(jì)貿(mào)易全球化、交際媒介多元化、語言文化多樣化趨勢的日益加劇，培養(yǎng)掌握多種語言、具備多元讀寫能力、跨文化視野和國際競爭力的專業(yè)人才是我國當(dāng)下外語教育的使命和擔(dān)當(dāng)。

　　1996 年《多元讀寫教育學(xué): 設(shè)計社會未來》 ( New London Group，以下縮寫為 NLG) 發(fā)表以來，多元讀寫成為教育學(xué)與多模態(tài)研究的熱點。多元讀寫教學(xué)法包含四個要素: 實景實踐( situated practice) ，即英語教學(xué)應(yīng)置于真實的語境中; 明確指導(dǎo)( overt instruction) ，即課堂上教師應(yīng)使用多模態(tài)設(shè)計的元語言系統(tǒng)對學(xué)生進(jìn)行明確指導(dǎo)，解釋如何運用語言、手勢、聲音和圖像等符號設(shè)計資源，在真實語境中創(chuàng)造性地建構(gòu)意義; 批評框定( critical framing) ，即教師運用有效的語言學(xué)理論和方法，培養(yǎng)學(xué)生理性分析教材中蘊含的文化、價值和意識形態(tài); 轉(zhuǎn)換實踐( transformed practice) ，即學(xué)生在新的社會文化語境中，熟練運用所學(xué)知識、創(chuàng)造性地解決新問題，并在此過程中培養(yǎng)獨立建構(gòu)多模態(tài)語篇的能力，即多元讀寫能力[36]88 。

　　多元讀寫教學(xué)法所主導(dǎo)的課程設(shè)計不僅包括教師的言語、語言、肢體、手勢語及書面語言，還包括使用道具、圖像、PPT 等非言語資源，數(shù)字教材也是課程設(shè)計的重要組成部分。NLG 認(rèn)為，“任何制造意義的過程，都是設(shè)計行為”[36]65 。教學(xué)過程中，教師和學(xué)生都是意義的制造者，他們既是符號實踐活動的設(shè)計者，也是教學(xué)實踐活動的參與者。閱讀、寫作、教材編寫過程都被視為多模態(tài)設(shè)計過程，也是社會實踐的反映。數(shù)字教材編寫者及開發(fā)團(tuán)隊在符號設(shè)計方面，應(yīng)充分挖掘不同模態(tài)的符號“供用特征”( affordances) ，即分析它們在意義表達(dá)方面的優(yōu)勢、特長和局限性，為學(xué)習(xí)者創(chuàng)設(shè)貼近真實生活體驗的交際語境和學(xué)習(xí)情境，構(gòu)建開放、民主、平等、和諧的新型師生關(guān)系，為學(xué)習(xí)者開展自主學(xué)習(xí)搭建“腳手架”。

　　在導(dǎo)學(xué)環(huán)節(jié)，建議教師有必要給學(xué)習(xí)者講解教材中不同符號模態(tài)的概念表征意義、人際互動意義、組篇意義以及不同模態(tài)間的相互關(guān)系，運用“元語言” ( metalanguage) 系統(tǒng)加以明確指導(dǎo)，幫助學(xué)生迅速把握課程的學(xué)科知識結(jié)構(gòu)，以便開展個性化自主學(xué)習(xí); 教學(xué)過程中應(yīng)注重培養(yǎng)學(xué)習(xí)者的批評分析能力，辨別教材中的價值觀和意識形態(tài); 培養(yǎng)閱讀各種媒體和模態(tài)信息，如互動的多媒體教材，并能循此生成相應(yīng)的多模態(tài)文本的能力，掌握不同模態(tài)符號的設(shè)計原則，利用可資獲得的設(shè)計資源，生成新的設(shè)計和意義。

　　隨著教育信息化 3. 0 的不斷深入和媒體技術(shù)發(fā)展的日新月異，數(shù)字教材的開發(fā)和研究也會朝著進(jìn)一步智能化、多元化的方向延伸和發(fā)展，我國外語教師應(yīng)不斷提升自身利用現(xiàn)代教育技術(shù)開展教學(xué)的能力，更要加強(qiáng)多模態(tài)符號設(shè)計能力和語言學(xué)、社會符號學(xué)等多學(xué)科理論的學(xué)習(xí)和提升，注重培養(yǎng)學(xué)習(xí)者的多元讀寫能力，迎接數(shù)字革命給我們帶來的機(jī)遇和挑戰(zhàn)。