神经网络是线性还是非线性

神经网络（Neural Networks）是一种模仿动物神经网络行为特征，主要通过对人脑粗略简单模拟、抽象和简化，利用相应算法进行分部式并行信息处理和非线性转换的数学模型[1,2]。这种网络依靠系统的复杂程度，通过对内部大量节点之间相互连接的关系，从而达到处理信息的目的。它由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。

人工神经网络：具有4个基本特征。

（1）非线性。非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性。一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定，通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）非常定性。人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以由各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

（4）非凸性。一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

感知神经网络：它是一种前馈神经网络，是神经网络中的一种典型结构。感知器具有分层结构，信息从输入层进入网络，逐层向前传递至输出层。感知器神经网络只能解决线性可分问题，对于写线性可分问题则无能为力。

自组织竞争神经网络。是以无教师方式进行网络训练的网络，其最重要的特点是通过自动寻找样本。

BP神经网络:它是一种多层前馈型神经网络，它的权值调整采用反向传播学习算法。目前，在人工神经网络的实际应用中，绝大部分的神经网络模型都采用BP网络及其变换形式。它也是前向网络的核心部分，体现了人工神经网络的精华。

线性神经网络:它与感知器类似，但是线性神经网络的激活函数是线性的，而不是硬限转移函数。因此，线性神经网络的输出可以是任意值，而感知器的输出不是0就是1。线性神经网络和感知器一样只能求解线性可分的问题。因此，线性神经网络的限制和感知器相同。

反馈神经网络:也称递归网络或回归网络。与以上所提到的感知神经网络、线性神经网络等前向型网络不同的地方在于，反馈网络的输入包含有延迟的输入或者输出数据的反馈。由于有反馈的输入，因此，它是一种反馈动力学系统。