现代计算机围棋时代

5.5.2　现代计算机围棋时代

在现代计算机围棋时代，搜索成为解决计算机围棋问题的主要方法。为了克服传统搜索中无法终结的困难，研究人员把在给定围棋盘面的落子选点问题从数学上描述为一个大状态空间的马尔科夫决策过程，使用蒙特卡洛规划方法来有效地解决该大状态空间上的马尔科夫决策过程。2006年，UCT算法的出现在现代计算机围棋时代起了关键作用，该算法显著地提高了蒙特卡洛规划方法的效率。UCT算法的本质是UCB算法在蒙特卡洛规划方法上的应用，而UCB算法则是解决多臂匪徒问题的最优机器学习算法。现在，普通的基于UCT算法的蒙特卡洛规划方法已发展成为广泛使用离线围棋知识的蒙特卡洛树搜索算法。

对于以上现代计算机围棋主要模型与技术，我们在第2部分中予以分别讨论。第7章介绍蒙特卡洛方法，讨论计算机博弈中动态盘面评估的数学模型；第8章介绍机器学习中探索与利用之间的矛盾与权衡，描述一个探索与利用之间的矛盾与权衡的经典问题：多臂匪徒问题，讨论和分析多臂匪徒问题的UCB机器学习算法；第9章介绍马尔科夫决策过程的基本概念，讨论解决大状态空间下马尔科夫决策过程的蒙特卡洛规划方法，讨论和分析提高蒙特卡洛规划效率的UCT算法；第10章介绍了蒙特卡洛树搜索模型，该模型把离线机器学习所获得的大量围棋知识应用到马尔科夫决策过程的模型中，构成一个更有效的计算机围棋博弈模型。

现代的蒙特卡洛树搜索算法需要使用大量的围棋知识，这些围棋知识通常是以模式的形式出现的。模式的自动获取、模式价值的定量评估、模式之间的搭配关系，以及模式的匹配效率都是现代计算机围棋领域中的重要问题。因此，本书的第3部分专门讨论现代计算机围棋中模式。其中第11章讨论模式的基本概念、模式之间的对称关系等相关特性；第12章讲述基于统计的模式自动获取算法及模式的统计特性；第13章讨论模式价值的基本概念，使用Elo算法评估模式价值；第14章讨论模式之间搭配关系、使用统计学中假设检验的方法获取模式搭配。