伴随着云计算、物联网为代表的第三次IT浪潮，信息通信技术发展从计算效能开发转向数据效能挖掘。数据的经济价值和科学价值不断提升，被视为等同于自然资源、人力资源的新型战略资源，而“大数据”问题也成为产、学、研各界关注的热点。可以说，“大数据”是云计算、物联网的技术的延续和变革，对国家治理模式、企业运行机制、个人生活方式都将产生巨大的影响。对此，通过对业界主流厂商的技术、产品研发现状进行深入分析，提炼出大数据的关键技术特征及范畴，为后续研究工作提供依据。
大数据技术描述了一种新一代的技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值。未来十多年数据将急剧增长，出现越来越多的大数据应用和行业需求。而急剧增长的数据迫切需要寻求新的处理技术手段，大数据将带来巨大的技术和商业机遇。随着应用数据规模急剧增加，传统计算面临严重挑战，海量数据隐含着更准确的事实，研究发现：大数据量可显著提高机器学习算法的准确性；训练数据集越大，数据分类精度越高；大数据集上的简单算法能比小数据集上的复杂算法产生更好的结果，因此数据量足够大时有可能使用代价很小的简单算法来达到很好的学习精度。
大数据的关键特征表现为体量大、分布式、异构性、不确定性以及不一致性，对传统的方法论及技术体系提出了挑战。针对大数据的发展趋势在数据处理、分析、管理等各个层面产生的深刻影响，国内外研究机构提出了数据密集型科学与工程（Data-Intensive Science and Engineering，DISE），关注于传统理论及技术在大数据环境下的应用迁移和效能提升。结合该领域的研究方向及关键科学问题，归纳出大数据研究的基本框架（见图9-1），包括数据存储与组织、计算方法、数据分析、用户接口等4个方面，以及在整个数据处理过程中需重视的数据质量、数据安全、数据监护等问题。
图9-1 大数据技术基本框架
当前大数据技术面临的主要挑战是，一方面，数据规模导致难以应对的存储和计算量，另一方面，数据规模导致传统算法失效，大数据复杂的数据关联性导致高复杂度的计算。
注释
[1]国家电网公司大数据研究工作组.大数据技术现状与发展趋势.2013年5月.
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
