具有战略意义的大数据

随着网络和信息技术的普及，人类产生的数据量正在呈指数级增长。20世纪初第二次工业革命结束后，全球以文字为载体的信息总量大约每十年翻一番；1970年以后，全球信息总量大约每三年翻一番；如今，全球信息总量每两年就可以翻一番。医疗卫生、地理信息、电子商务、影视娱乐、科学研究等行业，每天都在创造着大量的数据。据互联网数据中心（IDC）出版的数字世界研究报告显示，2013年人类产生、复制和消费的数据量达到4.4ZB(1ZB=2³⁰GB）；到2020年，预计数据量将增长10倍，达到44ZB.

数据采集成本的下降推动了数据量的剧增，新的数据源和数据采集技术的出现大大拓宽了数据的类型，数据类型的拓宽进一步导致数据空间维度的增加和数据的复杂化。目前，数据已经远远超越人力所能处理的范畴，在探寻管理和使用这些数据的过程中，逐渐形成了一个新概念——大数据。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

数据已成为与自然资源、人力资源一样重要的战略资源，蕴藏着巨大的价值，科技界和企业界对数据的收集与处理越来越重视。如果能够有效地组织和使用大数据，人们将得到更多的机会发挥科学技术对社会发展的巨大推动作用，孕育出前所未有的机遇。

大数据的应用范围伴随着互联网的技术进步而不断扩大，其发展起点可追溯到2000年前后。当时互联网网页呈现爆发式增长，每天新增约700万个网页。截至2000年底，全球网页数达到40亿个，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。谷歌开发搜索引擎之初要存储和处理的数据，数量之大和结构之复杂前所未有，传统技术根本无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统（Google File System）、分布式并行计算（Map Reduce）和分布式数据库（Big Table）等技术，以较低的成本处理了过去无法处理的数据。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。在过去5年里，全球大数据计算能力实现了超过20倍的增长，100TB数据排序时间由8274秒缩短到377秒，束缚大数据的技术瓶颈已经被完全打破，数据将从企业的成本中心转变为价值中心。

大数据分析技术不仅是促进基础科学发展的强大杠杆，也是许多行业技术进步和企业发展的推动力。大数据的真正意义并不在于大带宽和大存储，而在于从容量大且种类多的数据中提取出巨大的价值。采用大数据处理方法，通过数据处理能力极高的计算机并行处理，同时进行大批量的仿真比较和筛选，可以使得生物制药、新材料研制生产的流程等领域发生革命性变化，大大提高科研和生产的效率。数据已成为与矿物和化学元素一样的原始材料，未来可能形成“数据探矿”“数据化学”等新工艺模式和新学科。

大数据的价值主要表现在连接、反馈、揭示三个方面。连接是指大数据连接一切，即数据连接了消费者与商家，数据连接了客户习惯，数据连接了客户喜好，数据连接了地理位置，数据连接了时间和空间，数据连接了历史与现在，数据连接了万物等。拥有了由各种数据构成的大数据就拥有了与万物和时空的连接。反馈是指大数据反馈事物，即大数据能够反馈所连接的事物、时间和空间，通过数据记录来反馈物体的属性，包括人的移动、消费习惯、爱好、行为习惯、活动轨迹及运动规律等。揭示是指大数据揭示事物之间的关联性，即所有事物都被贴上了一个或多个数据标签，这些具有价值的标签经过整理和分析，再结合其他的数据，就能够揭示事物内部和外部的关联性，进而揭示事物的真相和规律，为个人、商家、社会带来巨大价值。

《2015年中国大数据交易白皮书》统计显示，2015年，全球大数据市场规模达到421亿美元，预计2020年全球大数据市场规模将达到1263.21亿美元。在大数据时代，数据不仅具有重大商业价值，还是有价值的国家资本。

总部位于旧金山的SpaceKnow公司以几十亿张由商业卫星拍摄的照片所作出的分析构建出了中国卫星制造业指数（SMI）。为计算SMI指数，SpaceKnow公司以一种算法对占地超过50万平方千米（约为中国国土总面积的1/20）的6000多块中国工业用地跨越14年的22亿张独立卫星照片进行了深入细致的比较，并对随时间产生的有活动的视觉变化赋值，例如可见的库存或新建工程。经过一系列测算与调整，SpaceKnow公司最终得出了具有指示意义的SMI指数。SpaceKnow公司分析用的中国工业用地卫星图片如图9-1所示。

图9-1 SpaceKnow公司分析用的中国工业用地卫星图片

SMI指数的指示意义与采购经理人指数（PMI）^[1]类似，可以用来评估制造业或服务业的健康程度。SpaceKnow公司首席执行官Pavel Machalek表示，出于对官方数据可靠性的怀疑，对冲基金和私募股权投资者对SMI指数非常感兴趣，他们想拥有特定设施更精细的数据，并想创建定制化的测量模型。

中国最大的搜索引擎运营商百度也开始发布基于人们想要寻找的信息类型而创造的新经济指标。百度的研究人员通过收集用户的手机定位数据来确定中国鬼城的位置，即灯光指数。

目前，每天都有海量的交易和数据在阿里巴巴平台上聚集与变化，阿里巴巴通过对商户最近100？天的数据分析，就能发现哪些商户可能存在资金问题；支付宝拥有3亿多实名认证用户（覆盖近一半中国网民），这些实名认证用户的上网足迹提供了涵盖购物、支付、投资、生活和公益等上百种场景数据，支付宝因此每天产生相当于5000个国家图书馆的数据量；当人们在淘宝、天猫等电子商务平台上进行消费时，就会留下他们的数据化信息，当这些信息积累到一定程度，再结合社交平台上的其他信息，就能清晰地显现消费者的行为轨迹，并且描绘出他们完整的信用“拼图”。

虽然中国大数据应用的市场规模在2012年仅为4.5亿元，但预计到2016年底，其市场规模将突破百亿元量级，中国将形成全球最大的大数据产业带。中国政府已充分认识到大数据的战略价值，并在2016年初制定的“十三五规划纲要”中明确提出，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。

【注释】

[1] 采购经理人指数（PMI）是以对企业管理者们的问卷调查为基础，管理者们会被问到他们认为当前经济形势是正在好转还是恶化。其以百分比来表示，常以50作为经济强弱的分界点：当指数高于50时，则被解释为经济扩张的信号；当指数低于50，尤其是非常接近40时，则表明经济有萧条的忧虑。