多媒体学习认知理论的五个步骤

依据前一节所述的三个假设，图表3.2提供了多媒体学习的一个认知理论。根据本书的目的，我把多媒体环境定义为用一种以上的形式（例如语词和画面）来呈现材料的环境。为了能在多媒体环境下产生有意义学习，学习者必须实现五种认知加工：（1）选择相关的语词在言语工作记忆中加工；（2）选择相关的画面在视觉工作记忆中加工；（3）将所选择的语词组织到一个言语心理模型中；（4）将所选择的图像组织到一个视觉心理模型中；（5）将言语和视觉表征与先前知识整合。尽管我将这些过程以列表方式列出，但是它们不一定以线性的顺序发生，所以学习者可以采用多种不同方式从某个过程转到另一过程。成功的多媒体学习要求学习者协调和监测这五个过程。

在图表3.2中所标出的第一个环节中涉及知识表征的一次转换，即从在耳朵里听到的话音的感觉表征转换到工作记忆中语音的内部表征。这一步骤的输入是学习者耳朵接收的话音信息。输出是语音的基本信息——学习者所选择的单词或短语在言语工作记忆中形成的心理表征。调节这一转换的认知过程被称作选择相关语词（selecting relevant words），当多媒体信息通过听觉的感觉记忆时，它对其中的某些语词给予注意。如果语词以声音的形式呈现，这一过程就从听觉通道开始（正如图中从语词到耳朵再到声音的箭头所示）。然而，如果语词以屏幕文本或印刷文本形式呈现时，这一过程就从视觉通道开始（正如图中从语词到眼睛的箭头所示），如果学习者在心理能够读出这些打印的语词，这个过程随后就可以从视觉转入听觉通道（正如图中工作记忆框左边从图像到声音的箭头所示）。之所以需要从呈现材料中选出部分信息是因为认知系统每个通道的容量有限。如果容量是无限的，那么就无需把注意力只集中于部分的言语信息上。最后，语词的选择不是随意的；学习者必须判断哪些语词关联最紧密——这个活动与学习者是主动的意义构造者的观点相一致。

例如，在闪电一课中，多媒体呈现的一段中包含“凉爽潮湿的空气移动到较温暖的表面上而变热”的语句，接下来的一段含有“靠近地面潮湿的空气迅速上升”的语句，再接下来的一段含有“当这股上升气流变冷时，水蒸气凝固成水滴形成云”的语句。当学习者进行选择加工时，结果可能使某些语词在言语工作记忆中得到了表征——例如“凉爽的空气变热，上升，形成云”。

第二个步骤涉及一个知识表征的转换是从进入眼睛中未被分析的视觉刺激的感觉表征转到工作记忆中视觉表象的内部表征。这一步骤输入的是视觉感觉记忆中暂时保持的多媒体信息的图像部分。这一步骤输出的是视觉表象的基本信息——学习者在工作记忆中对所选择图像形成的心理表征。

执行这一转换的认知过程称作选择相关的图像（selecting relevant images），它对多媒体信息中提供的部分动画或插图给予注意。由从眼睛到图像的箭头表示。这一过程从视觉通道开始，但它可能把部分信息转变到听觉通道（例如在心理上言语描述一个正在放映的动画）。之所以需要从呈现的图像材料中选出部分信息是因为认知系统的加工容量有限。加工一个复杂的插图或动画的所有部分不太可能，所以学习者必须将注意力只集中在新出现图片材料的部分内容上。最后，对图像选择过程——与对语词的选择过程一样——不是随意的，因为学习者必须判断哪些图像与理解多媒体呈现的内容关联最紧密。

举个例子来说，在闪电一课中，动画的一部分呈现出蓝色的箭头（但是本书中箭头是没有颜色的）——代表冷空气——在有一间房子和树的炎热的地面上移动；另一部分显示箭头变成红色，在树的上边向上移动；第三部分显示箭头变成里边有很多圆点的云。在选择相关的图像过程中，学习者可以把所有这些压缩为三个表象，即指向右边的一个蓝色箭头，指向上边的一个红色箭头和一片云；诸如地面上的房子和树，箭头的波浪线和云层中的点等细节就被忽略了。

一旦学习者从一段多媒体信息中新出现的语词中形成了语音的基本信息，下一步就是把这些语词组织成一个一致的表征——我称作言语模型（verbal model）的知识结构。这一步骤输入的是语音的基本信息，即从新出现的言语信息中选择的语词和短语，输出是言语模型，即学习者在工作记忆中对所选择语词或短语形成一致的（或具有结构的）表征。

这里涉及的认知过程是组织所选择的语词（organizing selected words），在这一过程中学习者在各种言语知识片断之间建立了联系。这一过程由从声音到言语模型的箭头来代表。这个过程最可能在听觉通道发生，同样受到影响选择过程的容量限制因素的制约，学习者没有无限容量来形成所有可能的联系，所以他们必须集中建构一个简单的结构。这个组织过程不是随意的，而是反映了意义形成的努力过程——例如对因果链的构造。

举个例子来说，在闪电一课中，学习者可能在所选择的言语成分之间建立因果联系：“首先，冷空气被加热，然后上升，接着形成云。”在心理上建立因果链的过程正是学习者组织所选择的语词的过程。

组织图像的过程类似选择语词的过程。一旦学习者从一段多媒体信息新出现的图像中形成一个表象的基本信息，下一步就是将表象组织成一个一致的表征——我称作图像模型（pictorial model）的知识结构。这一步骤输入的是表象的基本信息，即从新出现的画面信息中选择的图像；输出的是图像模型，即学习者在工作记忆中对所选择图像形成的一个一致的（或结构化的）表征。

从表象到图像模型的转变过程需要应用一种认知加工，我称之为组织所选择图像（organizing selected images）的认知加工，由从表象到图像模型的箭头表示。在这一过程中，学习者在各种图像知识片断之间形成联系。这一过程在视觉通道中发生，这个通道同样受影响选择过程的容量有限因素的制约。学习者没有足够的容量对他们表象的基本信息中的图像形成所有可能的联系，相反必须集中建立一组简单的联系。正如组织语词的加工，组织图像的加工也不是随意的。更确切地说，它反映了建立一个对学习者有意义的简单结构的努力，例如因果链。

举例来说，在闪电一课中，学习者可以在所选择的图像之间建立因果联系：指向右边的移动的蓝色箭头转变为一个上升的红色箭头，红色箭头又转变成一片云。简言之，学习者建立因果关系链接，其中第一个事件导致第二个事件，后面依此类推。

多媒体学习中最关键的一个步骤是在基于文字的表征和基于图像的表征之间形成联系。这个步骤包括从有两个单独的表征（视觉模型和言语模型）到拥有一个整合的表征的转变，在这个整合的表征中来自一个模型的成分和成分间的关系与另一个模型的对应部分相匹配。这一步骤输入的是学习者到目前为止建构的视觉模型和言语模型，而输出的是一个整合模型，它建立在两个模型联系的基础上。此外，整合模型还包括与先前知识的联结。

我把这个认知过程称为整合，这是因为它涉及在图像和言语模型对应的部分以及长时记忆中已有的相关知识之间建立联系。这个过程发生在视觉和言语工作记忆中，其中包括二者之间的协调。这一过程由来自言语和图像模型的箭头和来自长时记忆框的箭头表示。这是一个极其费神的过程，需要有效地利用认知容量。这个过程是意义形成的核心，因为学习者必须关注视觉表征和言语表征中的深层结构。学习者也可以利用先前的知识协调整合过程，正如从长时记忆框到工作记忆框的箭头所示。

举例来说，在闪电一课中，学习者必须看到言语链（“第一，冷空气被加热；第二，它上升；第三，它形成云”）和视觉链（蓝色的箭头后紧随着红色的箭头，红色的箭头后又紧随着云的形状）之间的联系。此外，先前的知识（通过想起热空气上升）能够用于理解从第一个事件到第二个事件的转换。

多媒体学习中的五个步骤的每一步在整个多媒体呈现期间可能发生很多次。这些步骤在一个又一个的片断中进行应用，而不是对作为整体的全部信息进行应用。例如，在闪电一课学习中，学习者并不是首先从整个文章中选择所有相关的语词和画面，然后把它们组织到整个段落的言语和视觉模型中，最后把两个完整的模型联系起来。相反，学习者在较小的片断中完成这五个步骤：他们从解说的第一句和动画播放的前几秒开始选择相关的语词和画面，对它们进行组织和整合，然后对下一片断重复这套过程等等。

简言之，多媒体学习发生在学习者信息加工系统内，这是一个包含独立的视觉和言语加工通道的系统，一个在每个通道的容量都有严格限制的系统，一个主动学习发生时需要每个通道中有协调的认知加工的系统。特别指出的是，多媒体学习是一个极其费神的过程，它需要选择相关的语词和画面，把它们组织到一致的言语和图像表征中，并整合言语和图像两种表征。本书的主题就是多媒体信息的设计应该为多媒体学习的加工提供便利。根据心理工作方式设计的多媒体信息更可能导致有意义学习。这个命题在下面七章中将得到实证检验。