基于神经网络的学习

6.2.8　基于神经网络的学习

人工神经网络(以下简称神经网络)是对人类大脑系统的感知和思维功能的一种微观模拟，它由一系列的神经元及其相应的连接构成，具有良好的数学描述，并可以用计算机程序来模拟实现。人工神经网络的研究涉及数学、计算机、思维科学、神经生理学、心理学、模式识别、非线性动力学等众多学科，是一个正在迅速发展中的交叉性学科。人工神经网络具有类似人脑的信息处理方式，是一种高度复杂的、非线性的、并行的信息系统，能被用于从不确定、不完整、存在矛盾及假象的复杂环境中获取知识。

1.神经网络概述^［9］

神经网络是基于“连接主义”理论而形成的。连接主义是人工智能研究的主要途径之一。它不采用包含具体含义和蕴涵着推理能力的显示符号表示方式模拟人类智能，而是试图通过神经元间的并行协作来实现对人类智能的模拟，其主要特征是:

(1)通过神经元之间的并行协同作用实现信息处理，处理过程具有并行性、动态性、全局性。

(2)知识与信息储存于神经元的联系之中，因而可以实现联想功能，对于带噪声、缺损、变形的信息能进行有效处理，取得比较满意的结果。

(3)它不通过编程而是通过学习直接改变神经元参数来获取特定问题的知识。

(4)适合于模拟人类的形象思维过程。

2.神经网络的结构^［10］

神经网络作为反映人脑某些特性的一种计算结构，需要采取一定的连接方式将神经元结点相连。

(1)基本处理单元——神经元

基本处理单元可采用输入和输出、加权系数、神经元函数进行形式化描述。

①输入和输出。处理单元有许多输入信息，这些信息同时输入神经元，但是这些信息经神经元函数响应处理后，仅输出一个输出信息，如图6-4所示。

图6-4　神经元的近似表示

②加权系数。处理单元的每一个输入都有一个相对加权，用于影响该输入的作用效果。在网络中，权值是可自适应调整的系数，可被看成连接强度的一种测度。处理单元的初始权值可以根据网络自身的规则进行改进修正、以响应不同的输入。如图6-5所示。

③神经元函数。它反映神经元输入和输出之间的关系，其函数形式一般是非线性的。

图6-5　具有权值输入的神经元表示

(2)主要连接形式

基本处理单元中的函数只能实现简单的信息处理，单个处理单元的信息处理能力并不强，只有把许多的神经元连接起来，构成一个网络系统，才能完成复杂的信息处理任务，呈现“智能”的特性。神经网络系统是一个高度互联的复杂的非线性系统，其中每个神经元的输入可以与许多其他结点相连，但只有一个输出。而这个输出也可以同时输入给许多其他的神经元。神经网络的连接根据连接取向(或信息流向)主要分为前馈网络和反馈网络两种形式。其中前馈连接形式中任何一个神经元的输出不能作为同层或前几层结点的输入。而反馈连接形式中结点的输出可以转向作为同一层或前几层结点的输入。其中具有闭环的反馈网络称为回归(循环)神经网络。

①前馈网络。在这种连接形式的网络中，神经元分层排列，各神经元接收前一层输入并输出到下一层;神经元自身及神经元间无反馈，这种网络可用有向无环图表示。其中的结点可分为两类，即输入结点和计算结点。由于输入和输出结点与外界相联系，可直接接受环境的影响，所以称为可见层，而其他的中间层则称为隐层，如图6-6所示。

②反馈网络。反馈网络可细分为如下3种形式:

●输出到输入有反馈的反馈网络。此时，它的输入结点既可接受输入，也起计算单元的作用，如图6-7(a)所示。

●同一层内有反馈的反馈网络。这种网络的最大特点在于在各层中允许引入神经元间的侧向作用，以实现各层神经元的自组织，如图6-7(b)所示。

图6-6　前馈式神经网络示意图

●相互连接型网络。这种网络中任意两个神经元之间都可能有连接，如图6-7(c)所示。

图6-7　不同形式的反馈网络示意图

3.神经网络的学习^［11］

目前，机器学习的方法主要有机械式学习、实例学习、类比学习、观察学习等，神经网络的学习功能和联想记忆为机器学习提供了一条新的途径。可学习性是神经网络的一个主要特征，神经网络通过对输入数据的学习、训练来实现知识获取。

(1)基本学习机制

神经网络由许多简单的处理单元连接而成。对于一个给定处理单元，其激活函数是固定的，它一般取决于网络设计，不能在运行过程中进行调节改变。但是其中的权值是可变的，它们能进行动态调节以产生给定的输出。这一可变权值的动态调节过程正是神经网络学习的本质。在单个处理单元层次，这一调节是比较简单的，但是当大量单元集体进行调节时，就呈现类似“智能”的特性，其中有意义的信息就存在于调节了的权值上。

此外，近年来发展起来的计算神经网络在调节权值的同时，还可根据环境自律地改变其系统结构，使系统结构成为与环境相匹配的优化结构，实现计算智能目的。

(2)学习的模式

神经网络的学习方法很多，但总体上可划分为以下两种模式:有师学习和无师学习。

①有师学习。该模式中，需要有一个“教师”，这个“教师”既可以是一组训练集，也可以是个观察者。学习原理如下:将实际输出与期望输出进行比较，然后根据这一比较结果调节网络的权值，使得在下一个迭代循环中产生一个更好的匹配。学习过程的目的是通过权值的连续调节，最终使得期望输出与当前输出间的误差最小。对于有师学习，网络在能执行工作前必须进行“训练”。当网络对于给定的输入数据序列能产生所需要的输出时，就认为网络的训练已经完成。有师学习是通过“加强”进行学习的，是一种强迫学习。

②无师学习。有时也称它为无监督学习。该学习模式中，网络权值调节没有受外来的“教师”影响。相反，在其内部对性能实行监控，网络在输入信息中寻找规律或趋势，并根据网络的功能进行自适应调节。尽管它没有外来“教师”，但是网络仍然需要有一些内部准则以进行系统的自我组织。无师学习强调处理单元群集间的协调。如果外界输入激活处理单元群中的某一结点，那么整个处理单元群的活性也就随之增加。