二元线性分类器及其训练

8.4.2　二元线性分类器及其训练

作为模式识别中决策分类的一种方法，该法希望通过某种方法，在模式空间中到找到一个判别面（此面叫做分类器），使不同类的模式点分别位于判别面的两侧。未知模式的分类可根据它位于判别面的哪一侧来定。若判别面是一个线性超平面，就叫线性分类器。

图8－4　线性判别函数

将已知分类的样本随机地分为两部分，一部分作为建立分类器的训练集，另一部分作为检验分类器的检验集，当判别面（分类器）确定后，则可用该平面的法向量与未知模式的点积来确定待定模式的类别。如图8－4所示，设判别面P的法向量为w，未知模式的向量为x，则点积

即为线性判别函数。

当x在平面P的上方时，

D＝w·x＞0，x属第一类。

当x在平面P的下方时，

D＝w·x＜0，x属第二类。

对于p维空间向量点积为

因此，只要找出（或求得）法向量w，就可以确定线性判别函数。

根据这个原理，可以提出如下的线性学习机法（linear learning machine，LLM）。此法的目的是找出法向量w，其思路是：从一任意初始法向量w₀出发，将已知分类的模式逐个地进行分类。若对已知的x，当前的w可正确分类，保留此w用来对下一个已知模式分类；若w不能对已知的x正确分类，则对w进行修正，继续检验其分类正确性，直至全部模式可正确分类。

步骤1　选两类重心间的对称区的法向量作初始法向量

c_i1，c_i2分别为两类的重心坐标。

步骤2　检验D＝w·x符号与已知x所属类别是否相吻合，若不吻合，则对w进行修正，修正后的法向量为w^＊。

c为系数，D^＊＝w^＊·x与D符号应相反。即

步骤3　用修正后的w^＊对x继续判别，若D＝w^＊·x符号与x所属类别吻合，则继续下一个模式的判别，否则返回到步骤2。

数学上可证明，这样选择c可使法向量w收敛。但此分类器的位置常常与初始法向量和训练集模式输入顺序有关，有时会得到不理想的分类器，另外当训练集不是线性可分时，训练过程不能收敛。

例8－8　现有甲状腺病人（记为类1）和正常人（记为类2）各10例，分别测试5项功能指标（以x₁，x₂，x₃，x₄，x₅表示），测试结果见表8－6（a）和表8－6（b）所示。以每一类的前8个样本作为训练集［表8－6（a）］，后2个作为测试集［表8－6（b）］。用LLM法对其进行判别。

表8－6（a）　患甲状腺病人与正常人5项指标16个训练集样本的原始数据

续表

表8－6（b）　患甲状腺病人与正常人5项指标4个检验集样本的原始数据

解：选择初始权矢量

对第一个样本

同理，可得

D₂＝6.10，D₃＝4.81，D₄＝4.40，D₅＝5.82，D₆＝5.33，D₇＝6.13，D₈＝4.86，D₉＝－4.70，　D₁₀＝－1.06，D₁₁＝－3.23，D₁₂＝－3.75，D₁₃＝－5.31，D₁₄＝－3.96，D₁₅＝－5.55，D₁₆＝－9.90。

这一步相当于用重心法分类。由此可见，1～8号样本的判别函数均大于0，为第一类，而9～16号样本的判别函数值均小于0，为第二类。所有样本分类正确，可选此权矢量判别四个检验集的样本，得到四个样本的判别函数值为：3.49，2.41，－5.25，－6.29。可见前两个样本为第一类，后两个样本为第二类，与原归属相符。

如果初始权矢量选得不好，则需要进行修正，例如，取w^T＝（－1，－1，－1，－1，－1）^T，可得D₁＝1.04，样本1为第1类，与实际情况相符，不需修正权值。继续求得D₂＝－1.03，判为第二类，与实际结果不符，需修正权矢量

以新的权值计算下一个样本的判别函数，依次类推，直至所有样本分类结果正确时所得的权值作为最终所要的权值，各次迭代所得的权值结果见表8－6（c）。采用该表最后权矢量判别四个检验集样本的类别，判别函数的值依次为2.20，1.10，－4.26，－0.21，与实际结果相符。

表8－6（c）　初始权值为“（－1，－1，－1，－1，－1）^T”时权值迭代的结果

由此可见，选择不同的初始权矢量所得的最终判别函数的权值不同，初始权值的选择对迭代次数、迭代结果有较大影响。