大数据现象

全世界每天有超过250兆字节的数据产生，未来十年，全球数据量还将以每年40%的数据增长，而且到了2020年全球数据量将达到35ZB（1ZB=1021字节）。通过互联网、物联网、移动终端、社交网络等形形色色的途径，人们将每时每刻面对海量数据。有分析表明，过去两年内产生的数据量，就占了有史以来的90%。在大数据、云计算、移动、社交等全球趋势下，我们正进入一个全新的以数据为核心的大数据时代。

大数据这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据被用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。2012年，在瑞士达沃斯世界经济论坛上发布的《大数据大影响》报告称，大数据已经成为一种新的经济资产类别，就像货币或黄金一样，大数据已经成为科技界和企业界关注的热点。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。

美国政府2012年3月在《大数据研究和发展倡议》中明确指出，将投资2亿美元用于大数据相关领域的研究，重点包括国土安全、教育模式、科学和工程领域创新，从而使得“大数据研究”成为了国家意志。英国政府2013年1月宣布其投资于大数据领域的资金规模将达到1.89亿英镑，而涉及的领域包括对地观测、医疗卫生和节能计算技术等方面。日本政府于2012年7月提出了以电子政府、电子医疗、防灾等为中心制定新ICT（信息通讯技术）战略，重点关注大数据的研究和应用。

下面是一组“大数据”现象的典型例子：

●　大型强子对撞机（LHC）在2010年总计产生了13Petabytes的数据；

●　沃尔玛超市每小时处理超过1百万个用户业务，这些数据被导入数据库后将包含2.5Pdtabytes的数据量，是美国国会图书馆数据量的167倍；

●　Facebook从其用户端处理400亿张图片；

●　全球公司的商业数据量，每1.2年翻一倍；

●　对人类基因进行解码，最初需要10年，而现在仅需要一周时间。

在企业层面，目前大多数公司都缺乏足够的分析能力从大数据当中获得有用的信息。2010年，麻省理工斯隆管理学院与IBM进行了一项针对3000名高管的调查，60%的受访者表示，他们拥有的数据远比他们能有效利用的多。

IBM最近又发布了一项针对1700多名市场总监（CMO）进行的调查，结果显示，71%的组织还没有准备好迎战大数据。在IBM实体分析首席科学家、杰出工程师Jeff Jonas看来，“计算速度越来越快，企业却越来越笨……今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降”。

随着谷歌MapReduce和GoogleFile System（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。从Gartner 2最新发布的2012年技术成熟度曲线报告中，可以清楚地看到大数据的技术应用的成熟度和价值度都出现了显著的变化，预计将会在未来的2~5年出现快速的扩张和普及应用，特别是以数据为中心、统计分析、内向扩展、自动化系统和工作负载管理将成为“第四范式”在当前时代的一种标志性展示。