多媒体学习认知理论的三个假设

按照可理解性标准，多媒体环境的设计应该与人们学习的方式相符合。简言之，多媒体设计原则应该对我们所了解的人类加工信息的方式是敏感的。

在多媒体设计中，学习理论的作用是什么？有关多媒体信息设计方式的决策经常反映了设计者关于人类学习方式的一个基本思想，即使其有关学习的基本思想没有明确表达时也是如此。多媒体信息的设计常常受到设计者对人类大脑工作方式的认识影响。例如，当一个多媒体呈现是由充满了不停闪烁和游动的多色文字和图像组成时，这种设计反映了设计者对人类学习的看法。这个设计者的基本思想是学习者拥有一个单通道，容量无限和被动加工的系统。首先，这个设计没有利用呈现的听觉模式，它依据的是单通道假设——所有的信息不管它的通道如何，都是以同样的方式进入认知系统。它遵循的思想：不管信息以哪种通道呈现都没关系，例如以声音或文本形式呈现语词，只要信息被呈现就可以了。第二，这个设计提供如此多的信息，它所依据的是无容量限制假设——人能够处理的材料数量是无限的。它遵循的思想：设计者的工作就是向学习者提供信息。第三，这个设计呈现了许多孤立的信息，它依据的是被动加工假设——人工作的方式像磁带录音机一样，能够在他们的记忆中添加尽可能多的信息。它遵循的思想：学习者在组织和理解呈现的信息时不需要任何引导。

这种把学习者看作单通道，无容量限制和被动加工系统的观点存在什么问题呢？认知心理学的新近研究对人的心理如何工作提出一个完全不同的观点（Bransford, Brown, & Cocking, 1999; Lambert & McCombs, 1998）。因此，这种关于学习的常识性观点的困境在于它同人们已经了解的人类学习方式的知识相冲突。本章我探讨了多媒体学习认知理论的三个基本假设——双通道假设，容量有限假设和主动加工假设。这些假设被总汇在图表3.1中。

图表3.1　多媒体学习认知理论的三个假设

图表3.2提供了一个多媒体学习的认知模型，这个模型代表人类信息加工系统。其中三大方框表示记忆存贮，包括感觉记忆、工作记忆和长期记忆。画面和语词作为多媒体呈现的方式，它们来自外部世界（图左边所示），然后通过眼睛和耳朵进入感觉记忆（图中感觉记忆框所示）。感觉记忆允许画面和打印文本作为精确的视觉表象在视觉感觉记忆（上部）保持很短的一段时间，允许言语和其他声音作为精确的听觉表象在听觉感觉记忆（下部）中保持很短的一段时间。从画面到眼睛的箭头表示画面在眼睛中登记；从语词到耳朵的箭头表示言语在耳朵中登记；从语词到眼睛的箭头表示打印文本在眼睛中登记。

图表3.2　多媒体学习的认知理论

多媒体学习的主要过程发生在工作记忆中，因此让我们重点关注工作记忆。在积极主动的意识状态下，工作记忆被用于暂时性地贮存知识和操作知识。例如，在阅读这个句子时，你可能一次同时只能主动地对其中一些语词集中注意力；或者在看图表3.2时，你可能在头脑中一次只能同时保持其中一部分方框和箭头的表象。这种加工——你意识中觉察到的加工——发生在你的工作记忆中。图表3.2标有工作记忆方框的左边代表进入工作记忆的原始材料——画面的视觉表象和语词的声音表象，因此工作记忆是以我在第一章中所称作的视觉和听觉两种感觉通道为基础的；相比较，工作记忆方框的右边代表在工作记忆中建构的知识，即视觉心理模型和言语心理模型以及他们之间的联系，因此它建立在我在第一章中称作图像和言语两种表征模式的基础之上。从声音到图像的箭头代表声音（例如一个发声的词语猫）到视觉表象（例如一个猫的图像）的心理转换，即当你听到了猫这个词，你可能也形成了猫的心理表象。从图像到声音的箭头代表视觉表象（例如猫的心理图像）到听觉表象（例如单词猫的发音）的心理转换，即当你看到一幅猫的图片，你可能心理上也听到猫的读音。这些过程可能通过心理联想发生的，在心理联想中发声的语词（spoken word）猫启动了猫的表象，反之亦然。多媒体学习所需要的主要认知加工过程由标有“选择图像”，“选择声音”，“组织图像”，“组织语词”和“整合”的各个箭头代表，这将在接下来的部分叙述。

最后，右边标有长时记忆的方框对应于学习者的知识贮存库。与工作记忆不同，长时记忆能够长期地保存大量知识，但是如果一个人要对长时记忆中的材料进行主动思考，这些材料必须被带入工作记忆中（正如从长时记忆框到工作记忆框的箭头所示）。

根据双通道假设，我把感觉记忆框和工作记忆框分成了两个通道：方框上部中的通道处理听觉声音和最终的言语表征，而方框下部中的通道处理视觉表象和最终的图像表征。通过这样的处理，我试图融合感觉通道观和呈现模式观两种理论，前者我用来建立工作记忆框左边的两个通道，后者我用来建立工作记忆框右边的两个通道。根据有限容量假设，工作记忆同时加工的信息数量是有限的，所以只有少许图像能够在工作记忆的视觉通道被保存，少许的声音能够在听觉通道被保存。根据主动加工假设，我增加了若干箭头代表以下认知加工过程：选择将在工作记忆中加工的知识（也就是从呈现材料指向工作记忆框的标有选择二字的箭头），将工作记忆中材料组织成一致的结构（也就是在工作记忆框中从一种表征指向另一种表征标有组织二字的箭头），把新建知识和已有的知识（包括来自长时记忆中的知识）进行整合（也就是指从长时记忆框到工作记忆框以及工作记忆框中视觉表征和听觉表征之间标有整合二字的箭头）。

双通道假设指人们对视觉表征和听觉表征的材料拥有单独的信息加工通道。双通道假设总汇在图表3.3中：图表3.3A突出显示了听觉／言语通道，图表3.3B突出显示了视觉／图像通道。当信息呈现给眼睛时（例如插图、动画、录像或屏幕文本），人们开始在视觉通道加工信息；当信息呈现给耳朵时（例如解说或非言语的声音），人们开始在听觉通道加工信息。单独的信息加工通道概念在认知心理学中有很长的历史，最近又与佩维奥的双重编码理论（dual-coding theory）（Clark & Paivio, 1991; Paivio, 1986）和巴德利的工作记忆模型（model of working memory）（Baddeley, 1986, 1992, 1999）有极其紧密的联系。

图表3.3　多媒体学习的认知理论中（A）听觉／言语通道（上部的框架）；（B）视觉／图像通道（下部的框架）

有两种方式可以定义两种通道的差异——一种依据的是感觉通道观，一种依据的是呈现模式观。感觉通道取向关注的是学习者最初是通过眼睛加工所呈现的材料（例如图片、录像、动画或打印的文字）还是通过耳朵加工所呈现的材料（例如解说或非言语声音）。根据感觉通道的取向，一个通道加工视觉表征的材料，另一个通道加工听觉表征的材料。这种定义与巴德利（1986, 1992, 1999）对视觉空间模板（visuo spatial sketchpad）和发音（或语音）回路（articulatory/phonological loop）的区分是十分一致的。

相反，呈现模式取向关注的是呈现的刺激是言语的（例如发声的或打印的语词）还是非言语的（例如图片、录像、动画或背景声音）。依据呈现模式的取向，一个通道加工言语材料，另一个通道加工图像材料和非言语声音。这种定义与佩维奥（1986）对言语系统和非言语系统之间进行区分是十分一致的。

呈现模式取向关注的是言语和非言语表征的区别，而感觉通道取向关注的是听觉和视觉表征的区别。在多媒体学习中这种主要差异取决于对打印的语词（也就是屏幕呈现文本）和背景声音加工的认识。屏幕文本在呈现模式取向中被认为最初在言语通道中加工，但在感觉通道取向中被认为最初在视觉通道中加工；背景声音，包括非言语音乐，在呈现模式取向中被认为最初在非言语通道中加工，但在感觉通道取向中被认为最初在听觉通道中加工。

为了建构多媒体学习的认知理论，我选择了一个折中方式，其中我用感觉通道取向区分视觉呈现的材料（例如图片、动画、录像和屏幕文本）和听觉呈现的材料（例如解说和背景音乐），用呈现模式取向区分工作记忆中基于图像的模型建构和基于言语的模型建构。因此，我在听觉／言语通道和视觉／图像通道之间做了区分。然而，要澄清两个通道差异的性质则需要进一步的研究。

尽管信息是通过一个通道进入信息系统，但是学习者也能够转换表征方式从而使其能在另一条通道得到加工。当学习者能够给任务分配足够的认知资源时，最初呈现给一个通道的信息也可能在另一条通道获得表征。例如，屏幕文本可能最初在视觉通道加工，因为它呈现给眼睛，但是一个有经验的阅读者可以在心理上把视觉表象转换为通过听觉通道加工的声音。同样，一个客体或事件的插图，例如云升到结冰面以上，最初可能在视觉通道加工，但是学习者心理上也可以在听觉通道构建对应的言语描述。逆推回去，描述某一事件的解说，例如“云升到结冰面以上”，最初可能在听觉通道被加工，因为它呈现给耳朵。但是学习者也可以形成一个相应的通过视觉通道加工的视觉表象。这种同一刺激的跨通道表征在佩维奥的双编码理论中起着重要的作用。

第二个假设是人们在每个通道上一次加工的信息数量是有限的。当呈现一个插图或动画时，任一时间内学习者能够保持在工作记忆中的表象只是少数。这些表象只反映了所呈现材料的部分，而不是对所呈现材料的精确复制。例如，如果呈现一个轮胎打气筒的插图或动画时，学习者可以集中建构连接杆下推、进气阀打开和空气进入圆筒的心理表象。当呈现解说时，任一时间内学习者能够保持在工作记忆中的语词只是少数。这些语词只反映了所提供文本的部分，而不是逐字记录。例如，如果所讲述的文本是“当连接杆上升时，活塞上移，进气阀打开，出气阀关闭，空气进入圆筒底部”，学习者在听觉工作记忆中可能保持了下述言语表征：“连接杆上升”、“进气阀打开”和“空气进入圆筒”。在意识中容量有限的观点在心理学中有很长的历史，在当代就有巴德利的工作记忆理论（1986, 1992, 1999）和钱德勒和斯韦尔勒（Sweller）的认知负荷理论（1991; Sweller, 1999）的例子。

如果我们假设每个通道具有有限的加工容量，知道每个通道能够加工的信息量是很重要的。测量某人认知容量的经典的方法是对他或她进行记忆广度（memory span）测验（Miller, 1956; Simon, 1974）。例如，在数字广度测验中，我以每秒一个数字的速度读出一列数字（例如，8-7-5-3-9-6-4），然后要求你按顺序重复。你能够不犯错误地背诵出的最长数列就是你的数字记忆广度（或数字广度）。另一种做法是，我以每秒一幅图片的速度向你展示一系列简单物体的线条画（例如，月亮-铅笔-梳子-苹果-椅子-书-猪），然后要求你按顺序重复。同样，你能够不犯错误地背诵出的最长数列也就是你的图片记忆广度。尽管存在个体差异，平均记忆广度仍相当小——大约是5到7个组块。

当然，人们随着实践能学习对列表中元素进行组块的各种技巧，例如把7个数字8-7-5-3-9-6-4组成三个组块，875-39-64（举例来说，“875”-停一下-“39”-停一下-“64”）。这样，认知容量保持不变（即5到7个组块），但是在每个组块中能够记住更多的元素。研究者已经开发出言语和视觉工作记忆容量更加精确的测量，但是这些测量仍然显示人们的加工容量是极其有限的。

斯韦尔勒和钱德勒（1994）和斯韦尔勒（1999）已经对学习期间认知负荷的内部来源和外部来源进行了区分。内部认知负荷（intrinsic cognitive load）依赖材料的内在难度——有多少组成成分和它们之间是如何相互影响的。当材料的组成成分很多，且它们之间的相互作用很复杂时，内部的认知负荷就很高。相反，当材料不复杂时，例如，当材料中每个组成成分能够被单独学习时，内部的认知负荷就很低。外部认知负荷（extrinsic cognitive load）依赖教学信息的设计方式——材料组织的方式和呈现的方式。当信息设计得不是很好时，学习者必须从事无关或无效的认知加工；当信息设计良好时，外部认知负荷减少到最小。本书的一个目的就是探讨使外部认知负荷最小化的技术。

加工容量的限制迫使我们选择对哪些新进入的信息给予注意，决定我们在所选择的信息之间以及在所选择信息和已有的知识之间建立联系的程度。元认知策略（metacognitive strategies）是对这些有限认知资源进行分配、监测、协调和调节的技术。这些策略是巴德利（1992，1999）所称作的中央执行者（central executive）——控制认知资源分配系统的核心，它们在当代智力理论中发挥着重要作用（Sternberg, 1990）。

第三个假设是人们为了对他们的经验建立起一致的心理表征会主动参与认知加工。这些主动的认知加工过程包括形成注意、组织新进入的信息和将新进入的信息与其他知识进行整合。简言之，人是寻求使多媒体呈现有意义的主动加工者。人是主动加工者的观点与通常认为人是被动加工者的观点相冲突，后一种观点认为人寻求将尽可能多的信息加入到记忆中的，也就是说，人如同磁带录音机，将经验拷贝在记忆中以便以后提取。

主动学习发生在学习者对新进入的材料进行认知加工的时候，这个加工过程能帮助学习者理解材料。主动认知加工能产生一个一致的心理表征结构，所以主动学习可视为模型建构的过程。一个心理模型（mental model）（或知识结构knowledge structure）代表所呈现材料的关键部分和它们相互之间的关系。例如，在关于闪电暴雷形成过程的多媒体呈现中，学习者可能企图建构一个因果体系，其中体系中一个部分的变化导致另一部分的变化。如内容是比较和对比两个理论的一节课中，心理模型的建构涉及建立一种沿若干方面比较两个理论的对比矩阵结构。

如果主动学习的结果是为了建构一个一致的心理表征，那么探索知识组织的一些典型方式是有用的。一些基本知识结构包括过程、比较、概括、列举和分类（Chambliss & Calfee, 1998; Cook & Mayer）。过程结构可表征为一连串因果链，由解释一些系统工作原理的知识组成。解释人的耳朵是如何工作的就是这样的一个例子。比较结构可表征为矩阵，由对两个或更多的成分在若干维度上进行的比较组成。比较两个相互竞争的学习理论在看待学习者的作用，教师的作用和教学方法有用的类型上的不同就是这样的一个例子。概括结构可以表征为一棵带有分支的树，包括一个主要观点和许多支持该观点的附属性细节。解释美国内战主要原因一章的内容概要就是这样的一个例子。列举结构可以表征为列表，它是各种项目的集合。本书中所列出的各种多媒体学习原则的名称就是这样的一个例子。分类结构可以表征为各种等级，由一个集合和众子集组成。对海洋动物的生物分类体系就是这样的一个例子。这些结构汇总在图表3.4中。

图表3.4　知识结构的五种类型

理解多媒体信息常常涉及建构这些知识结构中的一种。这个假设对多媒体设计有两个重要的意义：（1）所呈现的材料应有一个一致的结构和（2）多媒体信息应该对学习者提供如何建立这个结构的引导。如果材料缺乏一个一致的结构，例如是若干孤立事实的组合，学习者建构模型的努力将是毫无成果的。如果多媒体信息缺乏对如何组织所提供材料的引导时，学习者建构模型的努力可能毫无作用的。多媒体设计可以理解成为在学习者努力建构模型时提供帮助的一种尝试。

主动学习的三个基本加工过程是：选择相关的材料，组织已选择的材料和把所选择的材料与已有的知识整合起来（Mayer, 1996, 1999a, 1999b, 1999c; Wittrock, 1989）。当学习者注意到呈现材料中合适的语词和图像时，对相关材料的选择就发生了，这个过程包括将材料从外部带入认知系统的工作记忆中。组织已选择的材料包括在各成分中建立结构关系——例如上述五种知识结构之一，这个过程发生在认知系统的工作记忆之中。将所选择的材料信息与已有知识进行整合包括在新进入的材料信息和先前知识的相关部分建立联结，这个过程包括激活长时记忆中的知识并把它带入工作记忆。例如，在多媒体信息中，学习者必须对某些语词和图像给予注意，将它们整理为一条因果链，使这一步骤与先前的知识——例如热空气上升的原理——发生联系。详见图表3.5。

图表3.5　主动加工的三个加工过程

总之，某些多媒体信息暗含这样的学习理论假设：学习是一个单通道、容量无限和被动加工的活动。因此，某些时候多媒体设计是建立在第一章中所述的学习的空器皿观的基础上，这个观点认为学习者缺乏知识，所以学习就是把信息注入学习者空白的心理中。相比之下，我提供了一个多媒体学习的认知理论，这个理论以人类心理工作原理的三个假设为基础，也就是，人的心理是一个双通道、容量有限和主动加工的系统。