计算机网络大数据处理流程应满足的步骤有哪些

大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。因此，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的海量数据如何进行专业化处理。

对于企业组织和政府机构而言，大数据的价值主要体现在两个方面：大数据的分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如，Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据具有数据量大（Volume）、类型繁多（Variety）、价值密度低（Value）与速度快（Velocity）的“4V”特征，而业务需求和竞争压力又对大数据处理的实时性、有效性提出了更高要求，从而使得传统的以处理器为中心的数据分析处理技术根本无法应付。在大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。一个完整的大数据处理流程至少应满足以下四个步骤：

步骤 1（数据采集）：大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。在大数据的采集过程中，其主要特点和挑战是用户的并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

步骤2（数据导入和预处理）：虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

步骤3（数据统计与分析）：统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。其中，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

步骤4（数据挖掘）：主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，以实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

目前，随着移动互联网技术的飞速发展，特别是近年来云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代已经悄然到来。数据正在从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生，大数据正在“吞噬”和重构很多传统行业，并已在众多的行业领域得到了成功应用，例如：

◆ 智能电网在欧洲已经做到了终端，也就是所谓的智能电表，通过智能电表，电网每隔5 min或10min即可收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2～3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

◆ 丹麦维斯塔斯风力系统公司通过使用BigInsights软件和IBM超级计算机对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1 h便可完成。

◆ 美国电信运营商XO Communications公司通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现客户的行为趋势，并找出公司存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。

◆ 日本电信公司NTT docomo通过把手机位置信息和互联网上的信息结合起来，可以为顾客提供附近的餐饮店信息，而且在接近末班车时间时，可为顾客提供末班车信息服务。

◆ 零售企业通过监控客户的店内走动情况以及与商品的互动，将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见。此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。