神经元网络中的单元

20.5.1 神经元网络中的单元

神经元网络是由节点或称为单元构成的（参见图 20.15），它们通过有向边连接在一起。从单元 j到单元i的边的作用是把激励aj从j传播到i。每条边还有一个数值的权值Wj, i与之相关联，它决定了连接的强度和符号。每个单元i首先对它的输入计算一个加权和：

然后把激励函数g应用于这个和，产生输出：

注意，我们引入了一个偏离权W0, i，它和固定的输入a0= −1相关。过一会儿我们会解释它的角色。

激励函数g设计用于满足两个需求。第一，我们希望当提供了“正确的”输入时，单元是“激活的”（在+1附近），当提供了“错误的”输入时，单元是“非激活的”（在0附近）。第二，激励需要是非线性的，否则整个神经元网络就退化成了一个简单的线性函数（参见习题 20.17）。g 的两种选择如图20.16所示：阈值函数和S型函数（也称为逻辑函数）。S型函数的优点在于它是可微分的，后面我们能看到这对加权学习算法很重要。值得注意的是，两个函数在0点都有一个阈值（硬阈值或者软阈值）；偏离权W0,i为单元设置了实际的阈值，当“真实”输入的加权和（即，不包含偏差输入）超过W0, i时，单元被激活。

图20.16 （a）阈值激励函数，当输入为正时输出1，否则输出0。（有时会替代地使用符号函数，根据输入的符号而取±1。）（b）S型函数1/(1+e–x)

通过与逻辑门比较，我们可以体会一下单个单元的运算过程。设计单个单元（McCulloch和Pitts， 1943）的原始动机之一是它们有能力表示基本布尔函数。图20.17显示了布尔函数AND，OR和NOT （与、或、非）是如何通过权值合适的阈值单元表示的。这一点很重要，因为它意味着我们可以用这些单元建立一个能计算关于输入的任何布尔函数的网络。

图20.17 给定合适的输入以及偏离权，具有阈值激励函数的单元就可以用作逻辑门