管理的“望远镜”与“显微镜”

1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。

从某种程度说，大数据是数据分析的前沿技术。IBM的研究称，整个人类文明所获得的全部数据中，有90％是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。

今天我们所说的大数据与过去的“大”数据是有区别的，高端的网络技术赋予了今天的大数据四个基本特征，即体量比较大；类型多样；有价值，但密度低；处理速度比较快。具体来讲，一是体量比较大：数据的体量是比较而言的，不同的阶段，不同的时代对应着不同的大数据规模，现阶段大数据的数据规模在GB、TB、PB这几个规模尺度上，有的已经部分进入EB、ZB（即以艾字节、泽字节为计量单位）的规模。二是类型多样化：随着信息技术的发展，数据类型的定义不仅是文本形式，除此之外的图片、视频、音频、地理位置信息等也包含其中，形成多种类型的数据，并且个性化数据占绝对的多数。三是价值密度低：比如在日常生活中的图片、视频、音频中，可能有价值的数据仅仅就在某个细节之中，或者在视频的几秒之内，所以说，大数据分析犹如“大海捞针”。大数据的价值与大数据思维取向有着密切的关系。四是处理速度快：“1秒定律”是大数据分析必须遵循的要求。只有这样，才能从各种类型的数据中快速获得高价值的信息。“1秒定律”也称秒级定律，它是对大数据处理速度的要求，即大数据的分析处理一般要在秒级时间范围内形成分析结果，否则，数据的价值就稍纵即逝了。简言之，从包罗万象、众多复杂的数据中，快速获得有价值信息的能力，就是大数据技术，这正是大数据的价值所在。这与传统的数据挖掘技术是有很大区别的。

从大数据技术的外延功能来看，中国工程院院士倪光南是这样评价大数据的：“大数据意味着四种能力。一是集成和融合，海量数据汇集带来价值的提升；二是计算，通过云计算，能够被迅速利用；三是洞察，人们可以由此发现新的规律，重新认识事物间的关系；四是预见，能够帮助人们决策。”传统数据很大程度上依赖于调查统计，存在数据滞后性、缺乏多维度衡量等问题，难以及时系统反映事物发展状态，而互联网、大数据、云计算、物联网、人工智能等新技术丰富了数据处理手段，大数据作为新一代科技浪潮中的核心科学技术，则会以接近实时的速度收集、整理和应用大量数据。

“大数据”之“大”并不仅仅在于字节“容量之大”，更大的意义在于：在对客观世界更为深入、透彻的描述和认识过程中，通过对海量数据的交换、整合和分析，从而发现新的知识，创造新的价值，给人类带来“大知识”“大科技”“大利润”和“大发展”。所以，“大数据”是在新处理模式支撑下，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1965年摩尔提出的“摩尔定律”和1988年美国科学家马可·维瑟提出的“普适计算”解决了大容量的问题，而“数据挖掘”和社交媒体的出现则解决了大价值的问题。1989年世界计算机协会第一次“数据挖掘”年会的召开标志着“数据挖掘”开始兴起，它用自动的算法在大量的数据当中找出一些隐藏的关系、模式，总结出新的知识，给人类使用数据提供了能力。到2004年，信息技术又一个革命性的现象出现了，这就是社交媒体。它对人类的影响也是革命性的，人类社会的每一个成员都在生产数据，这些非结构化数据占到人类数据总量的75％。由于社交媒体的出现，人类已经进入全计算型的社会，但它不是传统意义上数字的加减乘除，因为计算的内涵发生了改变，颠覆了人类传统计算的概念。比如，我们在互联网上的搜索就是计算，而且是今后人类最“通用”“普遍”的计算。

因此，我们可以看到，“摩尔定律”“普适计算”“数据挖掘”和社交媒体推动了大数据的形成，而大数据又成为人类探索新知识的工具。根据国际数据公司的研究，2014年，国际数据公司预测，数据世界已增至4.4亿万亿字节，相当于3023.6亿个16GB的平板电脑的容量。如果将如此庞大的信息量存储在苹果平板电脑iPad中，叠加起来的iPad的厚度可达到地球到月球距离的2/3。这预示着我们已经进入了大数据时代。这些海量的数据，为人们更加准确地认识经济社会发展规律创造了可能，也为人们更加科学地分析经济社会运行状况提供了条件。

现在，人类社会已经进入了一个全新的历史阶段——“大数据”时代。人成为一切数据足迹的总和，人们的一切行为都以数据的形式被记录、被储存、被处理。从这个意义上说，大数据不仅是一种海量的数据状态及相应的数据处理技术，它在改变人类的思维，成为有别于在此以前几千年的一种思维方式；它在重新构建一项人类发展的重要基础设施，成为不可或缺的“资本”；它在影响一个国家和社会运行的基础性社会制度，成为政府决策和发展的依据。

史蒂夫·洛尔为《纽约时报》撰稿长达20多年，写作内容涉及技术、商业和经济三大领域，同时他还负责撰写《纽约时报》的科技博客。他在《大数据主义》一书中为大数据技术所做的定义使得人们又重新认识数字时代的分析工具和技术。史蒂夫·洛尔描述和定义大数据技术犹如“望远镜”或“显微镜”。“望远镜”让人们看得更远，发现新的星系；“显微镜”则将比细胞更加微小的世界展示在人们面前。人们据此看到并计量之前一无所知的事物。

探寻宇宙的奥秘，认识事物的规律，把握科学发展的方向，在更高的层面描述和认识世界始终是人类的向往和追求。由于大数据技术可以采集到大量原来无法采集到的数据，这就可以使得我们有可能对一个事物认识得更为深入，更为精准，并把细胞更微小的神秘世界展现在人类面前。同时，大数据技术既可以重新审视过去，也可以在历史信息流中把握未来。