首页 理论教育 大数据思维的“翅膀”

大数据思维的“翅膀”

时间:2022-02-14 理论教育 版权反馈
【摘要】:大数据与“云计算”二者结合起来,将给世界带来一场深刻的管理技术革命。欧盟已将研发和推广大数据、云计算技术列入“欧洲2020战略”,使之成为“欧洲数字化议程”的重要组成部分。日本内务部和通信监管机构计划建立一个名为“霞关云”的大数据、云计算基础设施,以支持政府运作所需的所有信息系统。“云计算”的来临,无疑是伴随着“数据”向“大数据”的转化进行的。

人类计算的发展经历了漫长的历史阶段,伴随着人类文明的演进和需求的变迁,在漫长的历史长河中,随着社会的发展和科技的进步,人类进行运算时所运用的工具和运算的方式,也经历了由简单到复杂,由低级向高级的发展变化。这一演变过程,反映了人类认识世界、改造世界的艰辛历程和广阔前景。

从计算演变的历史我们可以发现,每一个计算时代都有自己深深的烙印,独领时代风骚。

在原始社会,人类智力低下,当时把石块放进皮袋,或用贝壳串成珠子,用“一一对应”的方法,计算需要计数的物品。后来,人们就在长绳上打结记事或计数。到了2000多年前的春秋战国时期,利用木、竹、骨制成小棒记数,在我国称为“算筹”。它可以随意移动、摆放,运算更加方便。

1000多年前,算盘以圆珠代替了“算筹”,并将其连成整体,简化了操作过程,运算时更加得心应手,它被誉为中国贡献于世界的“第五大发明”,杨振宁先生称算盘为“世界上最早的计算机”,算盘从15世纪开始,逐渐传入日本、朝鲜、越南和泰国等地。到了现代,一种新型的电子算盘已经问世,它把算盘与电子计算器的长处集为一体,运算更加快捷。

1642年,法国数学家巴斯嘉制造了手摇计算机,它用一个个齿轮表示数字,以齿轮间的咬合装置实现进位,低位齿轮转十圈,高位齿轮转一圈。后来,经过逐步改进,使它既能做加、减法,又能做乘、除法,运算的操作更加简捷、快速。

随着近代高科技的发展,电子计算机在20世纪应运而生,其运算效率和精确度之高,是史无前例的。它的出现是“人类文明最光辉的成就之一”。

发展到电子计算机时代后,又经历了集中计算的大型计算机及超级计算机时代、分布式客户端/服务器时代、个人计算机时代、Unix工作站时代、互联网时代、Web2.0时代、网格计算时代、电子商务时代,现在又来到“云计算时代”。这中间的每个阶段都是互相交错,相互融合的。而整个的计算演变使计算性能越来越强大,计算作为服务功能正在为人类创造更加灿烂的文明。

在工业化社会,随着电力的发明,人们不再需要自身供应能源,而是接入电网之中。在信息社会,人们越来越离不开计算,但是,却不需自身提供计算资源,只要接入云计算(计算网络)中就可以像每天使用水和电一样获得所需要的计算资源。

最早提出大数据时代到来的麦卡锡曾说道:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”因而,一个大规模生产、分享、应用数据时代正在开启。随着计算机、互联网、现代通信以及相关软硬件技术的飞速发展,云计算正在成为大数据挖掘的重要工具。

大数据的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。在云计算出现之前,传统的计算机是无法处理如此量大,并且不规则的“非结构数据”的。以云计算为基础的信息存储、分享和挖掘手段,可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来,并随时进行分析与计算。

云计算是通过互联网把多个成本较低的计算实体整合成一个具有强大计算能力的完美系统。云计算思想的起源是麦卡锡在20世纪60年代提出的:把计算能力作为一种像水和电一样的公用事业提供给用户。

“云”是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,由于资源是在互联网上,而在电脑流程图中,互联网常以一个云状图案来表示,因此可以形象地类比为云,形容可以为个人提供专用资源,并可以招之即来、挥之即去的网络服务,这样,“云”的概念就产生了。

1997年,美国南加州大学的一位印度裔教授切诺柏将“云”和“计算”组合成一个新的单词,正式提出了“云计算”的概念,他告诉我们:“从此以后,计算的边界将由经济的规模效应决定,而不仅仅取决于技术层面的限制。”

其实,云计算离我们并不遥远,现在的网络上也已经随处可见。比如搜索引擎,网络邮箱,网络硬盘,网络店铺等等,都有云计算的影子,早期的分布式计算技术,也就是云计算概念的雏形。

大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万台电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。云计算提供基础架构平台,大数据应用运行在这个平台上。没有大数据的信息积淀,云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。

云计算则给大数据提供了一个契机,数据开始从PC上,从个人的移动硬盘上慢慢往云端存储,只有云端数据经过统一存储,统一分析,统一挖掘才有可能。因此,云计算推进了大数据的进程。正如希尔伯特说的那样,计算能力的提高是唯一让在线数据暴增变得有用的事。

大数据相当于储有海量信息的信息库,云计算相当于计算机和操作系统。大数据与“云计算”二者结合起来,将给世界带来一场深刻的管理技术革命。纵观全球,美、欧、日等发达国家纷纷实施了“大数据”的战略部署。“云计算”在美国政府的政策和战略中扮演越来越重要的角色。2011年发布的“联邦云计算战略”,明确提出“云优先”策略,旨在推动联邦政府服务向大数据、云计算迁移。欧盟已将研发和推广大数据、云计算技术列入“欧洲2020战略”,使之成为“欧洲数字化议程”的重要组成部分。日本内务部和通信监管机构计划建立一个名为“霞关云”的大数据、云计算基础设施,以支持政府运作所需的所有信息系统。

可以说,面对大数据的时代挑战,发达国家的发展战略更为明确和强势,目标在于处理纷至沓来的海量信息。仅以欧盟为例,每一分钟都在制造多达1700万亿字节的信息,这些信息如果储存在DVD光盘上,则需要36万张光盘。“云计算”的来临,无疑是伴随着“数据”向“大数据”的转化进行的。虽然对“大数据”的理解不能局限于概念和技术,而应该引申至文化哲学、社会学、政治学、管理学等诸多领域,但是无论如何,“大数据”所具有的“云”技术的特征,才使得大数据时代的到来成为现实。

因为移动互联网、物联网、社交网络、数字家庭、电子商务等新一代信息技术的应用形态,每时每刻都在不断产生大数据,同时,云计算又为这些海量、多样化的数据提供了存储和运算平台,提升了后端的数据存储管理和计算能力。所以,人们可以从不同来源数据的管理、处理、分析与应用过程中,创造出巨大的经济和社会价值。

另外,大数据与传统数据不同,它不是抽样数据,而是全部的数据,而物联网则是“万物相联”,并把物体虚拟化,数据上传而形成大数据,所以大数据价值的挖掘必须依赖云计算。只有云计算解决了大数据的实际运算问题,大数据才能解决海量数据分析问题。

大数据的价值在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。因此,我们可以看到“大数据”的真实价值隐藏于各种各样、毫无规则的数据之下,要发掘数据价值、征服“数据海洋”,关键的动力就在于“云”的逻辑计算能力。

“云计算”为大数据插上了思维的翅膀,否则大数据时代不可能到来。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈