模式频率的属性

12.3　模式频率的属性

从提取出的模式的频率信息中，可以得出很多上下文模式相关的属性信息，此外，无论是在棋谱的分析，还是在指导对弈中也有很多应用。

我们将所使用的模式称作上下文模式的最重要的原因，就是其与自然语言的相似性，而从模式的统计特性中，我们也可以很容易的发现其与自然语言的密切关系。

通过对业余高段和职业棋手的棋谱进行分析，提取出具有高质量的模式，并且通过相关的统计数据，一方面，可以在对弈中对局面进行分析，对最终生成落子点提供有价值的指导信息；另一方面，也可以直接用来指导对弈，生成落子点。此外，由于计算模式频率时的时间复杂度较低，可以很容易的计算很大量的模式，这就可以弥补高水平棋谱在数量上的不足，尽可能多的利用围棋爱好者在网上对弈所生成的海量棋谱，来表示更广阔的上下文环境。

当然，在处理大尺寸的模式时，很容易出现数据稀疏的问题，而且尺寸越大，这种现象越明显。尽管处理越大量的棋谱就会提取出数量越多的模式，但是由于大尺寸的模式其本身空间复杂度就很高，所以，反复多次出现的上下文模式始终占据较小的比例，无法形成统计上的有价值信息。由此，在对大尺寸的模式的统计信息进行分析和研究时，数据稀疏这个问题始终是个需要注意的问题。

Zipf法则是由美国的语言学家G.K.Zipf在20世纪40年代首次提出的，它主要是通过对自然语言中词频的分析，来找到语言中的词汇所具有的分布规律。他在研究英文单词出现的频率时，发现如果把大量文献中的单词按照其出现的频率由大到小进行排序，那么，每个单词出现的频率就会和它的排名的常数次幂呈反比关系，这个规律就被称为Zipf法则。

该法则表明，在英文单词中，只有少数的词被经常使用，而大多数词被使用到的概率很小，这也和我们通常所说的20/80原则相符。并且之后的研究人员也发现，Zipf法则不仅在英语中存在，在汉语及其他很多语言中也都存在着Zipf法则。

Zipf定律作为文献计量学的重要定律之一，和罗特卡定律、布拉德福定律一起被并称为文献计量学的三大定律。

前面我们提到，在围棋中每个棋子都可以被看做一个个汉字，而模式作为一个个棋子的组合，则可以被看做词，那么在围棋中是否也存在着语言里的Zipf法则呢？按照Zipf法则的描述，将其运用在围棋中就是，通过对大量的棋谱进行分析处理，如果将提取出来的模式按照出现频率由大到小排序，那么每个模式出现的频率就和其名次的常数次幂具有反比关系；换个说法就是，每个模式出现的频率的对数和其名次具有反比关系。如图12.4所示就是通过对16 067个专业棋谱进行分析，抽取出的9×9大小的上下文模式的统计信息，其中，纵轴为模式出现次数的log值，横轴则为将模式按照从大到小排序后的序号，每个模式就对应着坐标系上的一个点，我们可以很容易的从图中看出，这些点所构成的形状非常接近一条直线。也就是说，围棋的上下文模式，一样满足Zipf法则所具有的特性。

图12.4　从16 067个专业棋谱提取出的9×9大小的上下文模式的统计信息