【摘要】：首先介绍一个稀疏的LSSVM算法，本章提出的RLSSVM是在此算法基础上改进的。因为LSSVM的原始问题（2－8）利用了二次损失函数，使得LSSVM丧失了稀疏性。因此基于ε－不敏感损失函数的性质，［50］提出了稀疏的ε－LSSVM模型现在给出原始问题（5－9）在R2中的几何解释。，｝的基于L2－损失的ε－支持向量回归机［60］，只是这里对正类点取yi＝＋1，对负类点取yi＝－1。
其中
为ε－不敏感二次损失函数，如图5.2（a）所示。
图5.2 ε－LSSVM
（Figure 5.2 ε－LSSVM）
现在给出原始问题（5－9）在R2中的几何解释（参看图5.2 （b））。一方面，我们希望正类点（用“＋”表示）尽可能居于超平面（w·Φ（x））＋b＝1＋ε和（w·Φ（x））＋b＝1－ε之间的ε－带内（图中两条细红实线之间的区域），负类点（用“＊”表示）尽可能居于超平面（w·Φ（x））＋b＝－1＋ε和（w·Φ（x））＋b＝－1－ε之间的ε－带内（图中两条细蓝实线之间的区域），这些点的损失为零；那些居于ε－带外（对正类点，即细红实线之外的区域，对负类点，即细蓝实线之外区域）的点的损失，用（｜yi（（w·Φ（x））＋b）－1｜－ε）2来度量；另一方面，我们仍然希望最大化两个超平面（w·Φ（x））＋b＝1和（w·Φ（x））＋b＝－1之间的间隔。基于以上两点考虑，我们构建了问题（5－9）并求解得到最后的决策超平面（图中粗绿线），可以看出，结构风险最小化原则在此问题上得到了体现。问题（5－9）可进一步写为
可以看出，该问题事实上就是针对训练集T＝｛（x1，y1），…，（xl，yl）｝的基于L2－损失的ε－支持向量回归机［60］，只是这里对正类点取yi＝＋1，对负类点取yi＝－1。
通过引入拉格朗日函数
其中α，α＊为乘子向量，可以得到问题（5－11）的对偶问题
式中，K（x，x′）＝（Φ（x）·Φ（x′））为核函数。对该对偶问题，有相应的稀疏性结论［50］：
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
