数据挖掘与机器学习

随着数据大爆炸时代的到来，人类在各个领域积累了大量的数据，可是在数据分析处理方面缺乏有效的手段，人们很难在海量数据下挖掘隐藏的有价值的信息，信息爆炸演变成了“信息坟墓”(图1-2)。早在 1982，John Naisbitt 就已预言：“人们将处于信息丰富却知识贫乏的孤岛上。”怎样将这些庞大的数据转变成有用的信息和知识成了当代人们迫切的需要。在这种背景下，数据挖掘充分吸取了机器学习、高性能计算、信息提取、数理统计、数据可视化、模式识别、数据库、人工智能等多个领域的养分，于20世纪80年代迅速发展起来，并快速渗透到商业、金融等各个行业中，作为一个新兴的领域登上历史的舞台。

图1-2　我们处于数据丰富但无法获取有用信息的窘境

数据挖掘指的是从大量的、残缺的、有干扰的数据中提取隐含的、有效的、有价值的且最终可理解的模式的过程[5]（图1-3）。其具体的挖掘过程包括以下6个阶段：①业务理解；②数据预处理；③特征提取；④特征选择；⑤建模和模型评估；⑥模型应用（图1-4）。

图1-3　数据挖掘示意图示（利用现有的数据挖掘出有用的知识）

图1-4　数据挖掘流程图

数据挖掘依靠的技术繁多，其核心主要是依靠机器学习的算法来实现。

机器学习始于20世纪50年代，是一门“古老”而又“新兴”的计算机科学技术，属于人工智能（Artificial Intelligence）研究的分支，具体指的是设计一种让计算机能够自动学习的算法，从而使计算机从大量数据中获得隐藏的规律，并利用获得的规律对未知的情况进行预测。

机器学习具有以下特点：①大多数机器学习所解决的问题都不能使用固定的流程代码实现，而这些问题对人类而言却十分简单；②学习能力的程序指的是可以不断地从数据和经历中吸取经验教训，对未来进行预测；③机器学习具有能够不断改善自身从而应对具体任务的能力。

机器学习技术实用性强，在各个行业得到了广泛的应用，但是在石油地质领域的应用尚处于探索的阶段，主要应用于岩性、孔隙流体以及储层物性等方面的识别[6-10]。机器学习方法在石油地质领域的应用中，很大程度上是成功的，但是也存在很多不成熟的地方：主要体现在实际应用中，过多强调了优化算法的重要性，却忽略了输入变量的选择问题，无论算法多么优越，与预测目标相关性不强变量的引入，势必会对预测精度产生巨大的影响；过多强调了单一算法的优越性，但是由于数据特征千差万别，即使再好的算法也无法适用于所有的预测问题中；应用范围不够广泛。

其原因在于，机器学习算法理论性强，但实践性弱。《孙子兵法·作战》有云，“不尽知用兵之害者，则不能尽知用兵之利”，意思是说，不对用兵打仗的坏处与弊端进行充分的了解，不可能对用兵打仗的好处有足够的认识。算法的应用是一个辩证的过程，不仅在于不同算法间的比较和搭配使用有着辩证的关系，在同一个算法中，不同参数和阀值的设置同样会带来大相径庭的结果。

Aminzadel（2005）指出，数据挖掘技术是将石油勘探数据转化为有用的信息和知识的关键[11]。致密储层复杂性强，如何有效地将机器学习方法应用其中，将成为打开致密储层神秘面纱的一个关键因素。