首页 理论教育 小数据世界中的大数据

小数据世界中的大数据

时间:2022-02-14 理论教育 版权反馈
【摘要】:与大数据相对应的是小数据,小数据与大数据既有区别又有联系,大数据也是在小数据的基础上发展而来的。数据本无大小,运用数据分析的立场却分大小。尽管在“小数据”的世界里,但那些伟人却用一组组鲜活的数据书写了“大”数据的辉煌。无论是“小数据的世界”,还是“大数据的时代”,数据的应用是人类永恒的主题,所不同的,是在不同的时代工具运用的不同和进步,而且,人的数据思维也会打上时代的烙印。

我们知道,数据其实自从有了人类就产生了,如在远古时期的结绳记事就有了数据的概念,它早已融入老百姓的生活之中。只不过人们受到知识的局限,还不能认识它、掌握它,更不可能充分的利用它。因此人们只能凭借生产、生活过程中数据的记忆形成的经验进行人类的活动,而经验也是数据计算的结果,只不过它是不精确的。

我们的祖先先后发明过算筹、斗和称、漏刻、浑象仪、量角器,等等,这些测量工具无一不是用来生产认知外部世界的数据。他们发明笔、纸张、雕版印刷术,也是用来记录和生产数据。因而,数据成为人们认识的依据,思考的源泉,表达的工具。到了当代,伴随着电子计算机的强大数据处理能力的出现,我们更认识到,世界是数据的,我们对世界的解释其实是对数据的解读。当我们觉得对世界的本质和意义有所发现、有所体悟时,实际上是找到了一些数据之间的关联。当人们把数据变成了信息,信息变成知识,知识变成智慧,这就形成了大数据的思维。在这个大数据时代,数据正是我们认识世界的源泉。

与大数据相对应的是小数据,小数据与大数据既有区别又有联系,大数据也是在小数据的基础上发展而来的。也就是说,不管数据的规模有多么“大”,其构成还是小数据。大数据的“大”是一个相对的概念,数据的大与小通常都打上很强的时代烙印。《大数据时代》的作者维克托·迈尔—舍恩伯格说道,大数据在某种程度上,可以理解为“全数据”。意思是收集和分析与某事物相关的“全部”数据。大数据的“大”是相对的,而非绝对意义上的大。著名历史学家许倬云先生也说道,大数据之所以成为大数据,就在于将各种分散的数据,彼此联系,由点而线,由线而面,由面而层次,以瞻见更完整的覆盖面,也更清楚地理解事物的本质和未来的取向。

小数据是指在传统技术和方法条件下收集、存储、处理和分析的数据。小数据时代因为存储能力差,并且没有成熟的云计算架构和充分的计算资源。每一种数据来源,都有一定的片面性和局限性,只有融合、集成多方面的数据,才能反映事物的全貌。事物的本质和规律隐藏在各种原始数据的相互关联之中,对同一个问题,从不同的角度提供互补信息,才能对问题有更深入的理解。

小数据的形态,也就是我们常见的传统数据,它通常是结构化数据,所谓结构化数据(行数据)是指存储在数据库里可以用二维表结构来逻辑表达实现的数据,大数据中结构化数据占15%,更多的则是非结构化的数据。小数据通常被认为是目标导向数据,价值密度高。自古以来,管理国家需要土地、钱粮、人丁、户口、兵源等重要的数据是有非常明确目的的,有非常明确的价值。如我国的GDP核算城乡居民收入调查等。大数据则是记录导向的,价值密度低,是混合形态的数据。在传统社会里,小数据拥有的主体是政府,包括政府统计部门和各专业部门、企业、民间调查机构和科研机构等。

大数据与小数据的区别与转变就是,大数据不像以往的小数据那样,更多地注重数据的因果关系,而取而代之的是更多的关注数据的相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维习惯。另外就是在用途上,过去的数据很大程度上停留在说明过去的状态,用数据说话,实际上是用过去的数据说明过去,而大数据的核心就是预测。大数据的作用就是为人类的生活创造前所未有的可量化的维度,使数据从原来停留在说明过去变为一种驱动,预测未来。

英国数学家、人类学家托马斯·克伦普在其著作《数字人类学》中指出,数据的本质是人,分析数据就是在分析人类自身,数据背后一定要还原为人。东南大学知名教授吕乃基认为,虽然每个数据来源因其单项而显得模糊,然而由“无限的模糊”所带来的聚焦成像,会比“有限的精确”更精确。数据最大的价值在于形成信息,变成知识,乃至升华成智慧。数据是“一无所知”的,如果数据不进行处理,即使收集的数据容量再大,也是毫无价值的。由此可见,小数据与大数据是联系的,并无明显的界限,再大的数据也是由人们一点一滴,集腋成裘聚集而来的,没有小数据的积少成多,大数据技术就会成为无源之水、无本之木。数据本无大小,运用数据分析的立场却分大小。这恐怕就是大数据的意义所在。

事实上,迄今为止,人类的认知更多的还是产生于“小数据”的世界,我们现在更多处理的还是小数据,只要我们在纵向上进行一定时间的积累,在横向上有较丰富的记录细节,通过多源头对同一个对象采集的各种数据进行有机的整合,实施合理的数据分析,就可以挖掘出更大的价值。

“小数据”是可以充分利用的数据资源,挖掘可利用的有价值数据信息,也可以更好地把握其事物的相关性,预测其未来。一切数据存在的根本在于人。在数据分析日益完善的基础上,引入社会、心理、人文等因素,对小数据进行多方位、多维度的分析,从而做出有预测性、有价值的分析,也会创造新的价值。

帕斯卡尔说道“思想造就了人的伟大”。但是,离开理性的思维则不能产生伟大的思想,因为,理性的思维是追求真理的过程,而这一过程又是数据“量化”的过程。

虽然,在过去的历史岁月里,我们还没有大数据的技术和概念,但是,在“小数据”的世界里,人类就已经形成了“大”的数据思维。纵观历史,任何事件都离不开数据思维的影子,无论是孙子、诸葛亮、萧何,还是毛泽东,或是美国的开国精英们;无论是古代的“马陵之战”,还是现代的“诺曼底登陆”;无论是间谍战,还是信息战,都离不开数据的支撑,也正是数据使得人类不断进步和发展。尽管在“小数据”的世界里,但那些伟人却用一组组鲜活的数据书写了“大”数据的辉煌。特别是毛泽东的运筹帷幄、决胜千里,无论是在土地革命战争时期,还是抗日战争时期,或是解放战争时期,“大”数据始终支撑着毛泽东心中的大战略,他的军事思想已成为中国乃至世界军事史上辉煌的史诗。

小数据更多的是感性的思维,而大数据技术更多的是宏观的技术思维,是以更宽阔的视野在未知中寻找已知。虽然大数据表现为规模巨大、快速、多变的特征,但本质上还是数据。人的认识,还是需要通过数据获得的。无论是“小数据的世界”,还是“大数据的时代”,数据的应用是人类永恒的主题,所不同的,是在不同的时代工具运用的不同和进步,而且,人的数据思维也会打上时代的烙印。

在大数据时代到来的今天,我们更应该细细品读历史记忆中那些鲜活的数据所表现出来的大思维。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈