【摘要】：到目前为止，我们考虑了在给定的固定网络结构中对权值进行学习的问题。正如贝叶斯网络一样，我们还需要知道如何找到最好的网络结构。换句话说，和所有的统计模型类似，当在模型中有过多的参数时，神经元网络常会发生过拟合。也就是说，我们选取在验证集上得到最高预测精度的网络结构。网络再次进行训练，如果性能没有降低，则这个过程重复进行。加入后续的单元，处理第一个单元发生错误的实例。
到目前为止，我们考虑了在给定的固定网络结构中对权值进行学习的问题。正如贝叶斯网络一样，我们还需要知道如何找到最好的网络结构。如果我们选择了一个过大的网络，它将能够通过构造一个大型的查找表记住所有的实例，但是不一定能很好地推广到以前从未见过的输入 [24]。换句话说，和所有的统计模型类似，当在模型中有过多的参数时，神经元网络常会发生过拟合。我们在图18.1（第18.2节）中见到过这种情况，其中（b）和（c）中的高参数模型拟合了所有的数据，但是推广性能可能不如（a）和（b）中的低参数模型好。
如果我们坚持使用全连接网络，唯一需要做出的选择是考虑隐层的数目和大小。通常的方法是尝试几种情况然后留下最好的。如果我们要避免窥视测试集，则需要在第十八章中提到的交叉验证的方法。也就是说，我们选取在验证集上得到最高预测精度的网络结构。
如果我们要考虑非全连接的网络，那么我们需要在可能的连接拓扑结构的巨大空间中寻找某种有效的搜索方法。最优脑损伤算法从一个全连接的网络开始，然后从中去除连接。在网络经过第一次训练之后，用一个信息论方法确定一个可丢弃连接的最优选择。网络再次进行训练，如果性能没有降低，则这个过程重复进行。除了去除连接外，还可能去除那些对结果没有很大贡献的单元。
一些算法被提出来，它们从小型的网络中生长大型网络。其中之一，覆盖算法，类似于决策表学习。其思想是从单个单元开始，在尽可能多的训练样本上产生正确的输出。加入后续的单元，处理第一个单元发生错误的实例。这个算法只加入覆盖所有实例所需数目的单元。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
