多媒体学习理论

2.1.2　多媒体学习理论

多媒体允许多种外部表征形式如文本、图片、图像、表格、语音及音乐等组合成灵活的表征方式，支持学习过程的完成。多媒体学习能够减轻学习者的认知负担，减少学习的时间，改善学习的效果，尤其可以帮助学习者理解复杂、难懂的知识领域。另外，多媒体学习不仅影响学习过程中的知识获取，还影响所获取知识的利用效果。作为学习理论的一个研究方向，多媒体学习具有丰富的研究成果，包括双重编码理论、多媒体学习模型、理解文本与图画的综合模型等。

2.1.2.1　双重编码理论

双重编码理论认为人类具有两个在功能和结构上均不相同、独立但又相互联系的加工、储存信息的认知系统：言语系统和表象系统，如图2-2所示（Klark,J.M.和Paivio,A.，1991）。言语系统用于加工言语信息，产生言语反应；表象系统用于加工非言语的、物体或事件的信息，形成事物的心理表象。在结构方面，言语系统储存信息的单元是言语符号；非言语系统储存信息的单元是图像映像。在组织方式上，非言语信息以同步的方式进行组织，它允许一个心理表象的许多成分同时加工；而言语信息以连续的形式进行组织，只能进行序列加工，并且每次只能加工有限的信息。

图2-2　双重编码理论的言语系统和表象系统

言语系统与表象系统的加工分为三个水平：①表征水平，指当言语与非言语表征被激活时所产生的加工，包括低水平的材料驱动的知觉再认和识别，在很大程度上受事物本身的特征影响；②联合加工，指在言语系统内部语言单位之间或者图像系统内部图像单位之间所发生的加工，情境是联合加工的一个重要变量，当试图从词的背景中理解这个词的意义时，或者由相关的词引起想象并被整合成一个想象情境时，即在进行联合水平加工；③相关加工，指一个系统的表征被另一个系统的表征所激活，从而在言语系统与非言语系统之间构造了一条潜在的通道。两个认知系统是相互联系的，当学习者用言语和表象两种认知系统表征相同的材料时，如果言语信息和图画信息在时间和空间上一致，则在编码的过程中就会形成言语表征和视觉表征的连接，从而提高学习效果。

2.1.2.2　多媒体学习模型

在双重编码理论的基础之上，Mayer（2001）提出了多媒体学习模型，如图2-3所示。Mayer关于双重编码的主要假设是言语信息和图画信息在不同认知系统中进行加工。学习者选择相关词语建构成命题表征，组织成言语心理模型；选择重要图像形成图像表征，两种加工建构了两种平行的心理模式，最后彼此进行一对一的映射联系。如果言语信息和图画信息同时出现在工作记忆中，就发生整合加工。

图2-3　多媒体学习模型

由模型可以看出，多媒体学习包括三个过程：选择、组织和整合。首先，学习者需要注意经过眼、耳进入信息加工系统的视觉和言语信息中的有关内容，即选择过程。从呈现的言语信息中，学习者选择重要的词语进行言语表征，即选择文本，其结果是建构命题表征或文本库；从呈现的视觉信息中，学习者选择重要的图像进行视觉表征，即选择图片，其结果是建构表象表征或图像库。当学习者选择了视觉和言语材料之后，就会把进入工作记忆中的信息组织成一个连贯的整体，即组织过程。学习者对文本库进行重新组织，即组织文本，形成关于文中所描述情境的言语心理模型；学习者对图像库进行重新组织，即组织图像，形成关于图像中所描述情境的视觉心理模型。最后，学习者需要在两类模型之间建立联系，并将所组织的信息与记忆中已有的、熟悉的知识结构联系起来，即整合过程。

2.1.2.3　理解文本和图画的整合模型

Schnotz和Bannert（2003）对Mayer的多媒体学习模型中文本和图画的平行加工提出了质疑，认为文本和图画属于不同的符号系统，用的是不同的表征原则，言语表征是描述性的，而图画表征是直观性的。言语表征和图画表征之间不可能有映射过程，不可能进行简单的结构整合，因为直观性表征不包含事物之间的关系。他们在双重编码理论的基础上，提出了理解文字和图画的整合模型，如图2-4所示。

图2-4　理解文本和图画的整合模型

这个模型包括描述性表征和直观性表征两部分。描述性表征包括外部的文本表征、文本浅层的心理表征和语义内容的命题表征，这些表征之间的相互作用是以符号为基础的。直观性表征包括外部的图画表征、图画的视觉认知和所描绘物体的心理模型，这些表征之间的相互作用是以类比结构映射加工为基础的。

阅读文本时，学习者首先建构文本的浅层表征；接着，形成语义内容的命题表征（如文本库）；最后，从文本库中建构文本中主题事物的心理模型。这些建构过程基于认知模式自底向上及自顶向下激活的交互作用，具备选择和组织功能。任务相关的信息通过自顶向下的激活选择，所选的信息组织成连贯的文本浅层结构。概念组织的过程开始于文本浅层表征形成连贯的命题表征，并反过来激发心理模型的建构。

理解图画时，首先建构图画内容的视觉心理表征，接着，建构心理模型，并通过语义加工，建构图画所显示主题事物的命题表征。在知觉加工中，任务相关信息通过自顶向下的认知模式激活选择，接着通过自动视觉路线进行视觉组织。知觉加工包括识别和区分图像实体以及这些实体的视觉组织。视觉表征的结果是图画的视觉认知。理解图画时，不仅需要知觉加工，还需要语义加工。在语义加工过程中，通过模式驱动的映射过程建构描述主题事物的心理模型，将图像实体映射为心理实体，将空间关系映射为语义关系。即是说，图画理解是视觉空间关系系统与语义关系系统之间的类比结构映射过程。