您的 IP 地址/地理位置：220.177.198.53江西&&吉安&&联通
当前位置： &
详解：什么是大数据 17:36:37&|&编辑：hely&|&查看：&|&评论：
信息技术领域原先已经有“海量数据”、“大规模数据”等概念，但这些概念只着眼于数据规模本身，未能充分反映数据爆发背景下的数据处理与应用需求，而“大数据”这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和应用活动，是数据对象、技术与应用三者的统一。
一、大数据出现的背景
进入2012年，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识 到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
最早提出大数据时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：&数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的 挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。&&大数据&在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日， 却因为近年来互联网和信息行业的发展而引起人们关注。
大数据在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量，大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
二、什么是大数据?
信息技术领域原先已经有&海量数据&、&大规模数据&等概念，但这些概念只着眼于数据规模本身，未能充分反映数据爆发背景下的数据处理与应用需求，而&大数据&这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和应用活动，是数据对象、技术与应用三者的统一。
1、大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集合，如某个政府部门或企业掌握的数据库，也可能是虚拟的、无限的数据集合，如微博、微信、社交网络上的全部信息。
大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，&大数据&指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
亚马逊网络服务(AWS)、 大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义：&大数据是最大的 宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。&Kelly说：&大数据是可能不包含所有的 信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。
2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。
3、大数据应用，是 指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务 需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持&对象、技术、应用&三位一体同步发展，才 能充分实现大数据的价值。
当你的技术达到极限时，也就是数据的极限&。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。
三、大数据的类型和价值挖掘方法
1、大数据的类型大致可分为三类：
1)传统企业数据(Traditionalenterprisedata)：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。
2)机器和传感器数据(Machine-generated/sensor data)：包括呼叫记录(CallDetail Records)，智能仪表，工业设备传感器，设备日志(通常是Digital exhaust)，交易数据等。
3)社交数据(Socialdata)：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。
2、大数据挖掘商业价值的方法主要分为四种：
1)客户群体细分，然后为每个群体量定制特别的服务。
2)模拟现实环境，发掘新的需求同时提高投资的回报率。
3)加强部门联系，提高整条管理链条和产业链条的效率。
4)降低服务成本，发现隐藏线索进行产品和服务的创新。
四、大数据的特点
业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说，大数据具有4个基本特征：
1、是数据体量巨大
数 据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量; 百度资料表明，其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB)，这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前 为止，人类生产的所有印刷材料的数据量仅为200PB。
2、是数据类别大和类型多样
数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化 数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。
3、是处理速度快
在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循&1秒定律&，可从各种类型的数据中快速获得高价值的信息。
4、是价值真实性高和密度低
数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。
五、大数据的作用
1、对大数据的处理分析正成为新一代信息技术融合应用的结点
移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。
大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基&梅隆大学海因兹学院院长)。
2、大数据是信息产业持续高速增长的新引擎
面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
3、大数据利用将成为提高核心竞争力的关键因素
各 行各业的决策正在从&业务驱动& 转变&数据驱动&。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费 者提供更加及时和个性化的服务;在医疗领域，可提高诊断准确性和药物有效性;在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作 用。
4、大数据时代科学研究的方法手段将发生重大改变
例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。
六、大数据的商业价值
1、对顾客群体细分
&大数据&可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和&大数据&的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。
2、模拟实境
运用&大数据&模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。
云 计算和&大数据&分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以 数据化。&大数据&技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案 投入回报最高。
3、提高投入回报率
提高&大数据&成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。&大数据&能力强的部门可以通过云计算、互联网和内部搜索引擎把&大数据&成果和&大数据&能力比较薄弱的部门分享，帮助他们利用&大数据&创造商业价值。
4、数据存储空间出租
企 业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用 户两大类。主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如亚 马逊、网易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。
5、管理客户关系
客 户管理应用的目的是根据客户的属性(包括自然属性和行为属性)，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失 率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里，在群朋友圈里发布新 产品预告、特价销售通知，完成售前售后服务等。
6、个性化精准推荐
在 运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分 析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。
以日常的&垃圾短信&为例，信息并不都是&垃圾&，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以给需要的人发送需要的信息，这样&垃圾短信&就成了有价值的信息。在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。
7、数据搜索
数据搜索是一个并不新鲜的应用，随着&大数据&时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。
运营商掌握的用户网上行为信息，使得所获取的数据&具备更全面维度&，更具商业价值。典型应用如中国移动的&盘古搜索&。
七、大数据对经济社会的重要影响
1、能够推动实现巨大经济效益
比如对中国零售业净利润增长的贡献，降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。
2、能够推动增强社会管理水平
大数据在公共服务领域的应用，可有效推动相关工作开展，提高相关部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。
3、如果没有高性能的分析工具，大数据的价值就得不到释放
对大数据应用必须保持清醒认识，既不能迷信其分析结果，也不能因为其不完全准确而否定其重要作用。
1) 由于各种原因，所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据，加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟，所以对 计算机完成的大数据分析处理的结果，无法要求其完全准确。例如，谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感暴发，但由于微博上无用信息的 干扰，这种预测也曾多次出现不准确的情况。
2)必须清楚定位的是，大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维，辅助决策。简单而言，若是处理一个问题，通常人能够想到一种方法，而大数据能够提供十种参考方法，哪怕其中只有三种可行，也将解决问题的思路拓展了三倍。
所以，客观认识和发挥大数据的作用，不夸大、不缩小，是准确认知和应用大数据的前提。
不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
1、从大数据的价值链条来分析，存在三种模式：
1)手握大数据，但是没有利用好;比较典型的是金融机构，电信行业，政府机构等。
2)没有数据，但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。
3)既有数据，又有大数据思维;比较典型的是Google，Amazon，Mastercard等。
2、未来在大数据领域最具有价值的是两种事物：
1)拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益;
2)还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。
大 数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇，需要不 断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于 数据的应用需求和应用水平进入新的阶段。
相关阅读：
搜索"raincent"或扫描下面的二维码您所在的位置： &
两个通俗故事告诉你什么是“云计算”
两个通俗故事告诉你什么是“云计算”
云计算吗，简单来说就是……然而不幸的是，“简单来说”后面的文字，读者依然看不懂，智商严重受挫。请读完下面的故事，笔者将确信您能找回智商的自信：云计算就是这么个东西。
这是个实在悬乎的概念，自提出6年以来，无数的文字在解释它，却有90%以上的读者不知&云&为何物。这些文字都带着一种腔调：云计算吗，简单来说就是&&然而不幸的是，&简单来说&后面的文字，读者依然看不懂，智商严重受挫。请读完下面的故事，笔者将确信您能找回智商的自信：云计算就是这么个东西。
　　故事一 公共电网抛弃了爱迪生
爱迪生的牛气无法言说，这辈子有2000多项发明，在科学界他吃的盐比普通人吃的饭还多。但就是这么一个牛人，也曾被拍打在沙滩上：公共电网狠狠地抛弃了他。
1878年，爱迪生决定开发一种新产品&&电灯泡，为了持续地给它供电，他紧跟着又发明了电流表、发电机等，这是一套完整的供电系统：爱迪生灯具公司制造灯泡，爱迪生电器公司制造发电机，爱迪生电线公司生产电线。
然而，他的产品只支持直流电厂。直流电有一个很大的缺陷，那就是不能进行长距离运输。于是，越来越多的个人和企业开始独立发电，来点亮爱迪生的直流灯泡。独立发电使得小型私人电厂遍地开花。由于长期为这些电厂提供设备，爱迪生成立的通用电气公司趁机发了大财。
然而，爱迪生是个伟大的发明家，却不是一个精明的企业家，它相信直流电才是未来。这个短板被他的崇拜者英萨尔意识到：他更推崇交流电。交流电可以长距离运输，有了这个基础，大量效率低的私人电厂，就能整合成一个&中央电厂&，通过一根电线，电能就能运输到各处使用。
但爱迪生并不看好这种设想，因为这会断掉他的财路：他的商业兴趣在于，私人电厂越多，他的设备就会卖得越好。按照爱迪生的想法，每个企业或者个人都得自备一个小型发电厂。所以，在这场战役中，信赖交流电的英萨尔胜出了。通过&中央电厂&，英萨尔实现了大规模的公用电网。
如此一来，原先建立私人电厂的企业或个人，就可以避免采购设备昂贵的发电设备。他们只需付上费用，墙面的插头就能提供源源不断的电力，而不必关心这些电力来自何方。故事中取代私人发电厂的&公共电网&，就是电气时代的&云计算&。
故事二 信息&公用电网&的诞生
1971年，英特尔公司发明了微型电脑。由于价格低廉，且能够完成各种任务，微型电脑很快取代主计算机，成为公司电脑运算的中心。其后，原来的主计算机被改造成了私人服务器(私人发电站)，这些服务器下面连接着许多个人电脑。
爱迪生的灯泡只能搭配直流发电厂，这些个人电脑也只能使用服务器上的程序。这种模式(C/S模式)一直延续至今。正如电气时代每个企业都必须自建一个私人发电厂一样，现在每个企业必须配备一个私人数据中心。
私人发电厂不能实现远距离传输，服务器内的信息也只能在局域网传播。私人电厂只供企业和个人使用，数据中心的信息也只供企业内部使用。2005年2月，google在俄勒冈州北部买下三十亩地准备建立一个庞大的服务器技术中心。于是，信息的&公用电网&出现了，这就是&云计算&。
在这里，包含着数万、甚至数十万廉价CPU和硬盘组成的服务器，这就是信息时代的&中央电厂&，它把原来企业内部的服务器(私人电厂)整合为一台机器集中处理。自此，企业再不用采购昂贵的设备，不必再培养一支庞大的技术队伍。他们只要相信，手里有一台连接网络的计算机就行，而不必担心数据存储在什么地方。
&云计算&随后迅速地进入到我们的生活。YouTube每月8亿独立访问用户，但运营这些网站的，往往只有几个人，他们租用亚马逊的服务器提供服务，节省了大批资本投资。
这两个故事关联性很大：电线相当于宽带，电灯泡相当于电脑，私人电厂相当于私人服务器，公用电网就相当于现在的&云计算&。
　　手记 让99%读者不懂的&云计算&
&云&正在与我们的生活越飘越近，然而，它的概念却离我们越来越远。笔者日前在网上看到一组调查数据，有90%以上的读者不知道&云计算&为何物。当我拿着这组数据，跟一位业内人士诉说时，他却不屑地回答：&不止90%吧，真正懂的估计不到1%。&
他也纠结于&云计算&的理解障碍，&太抽象了，没有具体可感的东西，所以理解起来费劲。&龙真也告诉笔者，&这个概念本身就是一个很扯淡的事。&基于此，笔者四处向专业人士&取经&，直到有人推荐了这本。
&云计算&是个浮躁的概念，被商业化的速度远超过我们想象。由于&云计算&的应用，一大批&云产品&被问世，这其中有真货，也有水货。但是，只要我们理解了&云计算&概念的本质，就自然能清晰地辨别，所谓的他们口中&云产品&，究竟是个什么东东。
探索 &云计算&的双重含义
信息&公用电网&之说只属于&云计算&含义中的一方面，来源于尼古拉斯&卡尔的《IT不再重要》。还有一种更通俗的理解，&把所有的本地的事，都可以放到云端来完成就是云计算了。&
未来的电脑将不需要主机，只需要一个显示器。原来机箱里的东西哪去了?它们将全部存储在&云计算&中。一些游戏玩家渴望追求带劲的显卡、CPU，未来这些统统不需要，你只需要一套键盘鼠标和显示器，就能实现&发烧友&的愿望，而这背后的支撑者，就是&云计算&。
信息&公用电网&，只属于&云计算&含义中的一方面。通信观察家项立刚认为，&&云计算&的概念也可以这么说，原来大家私人发电，现在有中央电厂集中发电。&他表示，这个概念还可以理解为&把大量计算机的计算、存储能力聚合起来&。
它还有着更丰富的意义。&信息&公用电网&是个伪概念，&i黑马联合发起人龙真表示。&它主要说的是大家之后都不要用自己的服务器了，直接租用别人的服务器更好。&他认为，&云计算就是我们原来用硬盘来存储的数据，现在直接存储在网络上。&
当然，&云储存&只是&云计算&中的一个基本功能。比如，&云计算&存储着许多网络游戏，但这些游戏能够直接被用户运行，且不需要CPU。还有一种更通俗的理解，&把所有的本地的事，都可以放到云端来完成就是云计算了。&龙真表示。
其实，信息&公用电网&并不是卡尔的唯一观点。在书中他还提到，未来装在电脑机箱的各个配件，通过&云计算&能够全部集成于互联网，供每一位用户分享。这句话的含义，就是机箱内的CPU、硬盘等都挂在&云端&，未来的电脑仅需要一个显示器加鼠键。
笔者认为，&云计算&的这层含义同样能用信息&公用电网&理论来解释，可以将个人电脑机箱内的配件看成是私人发电站，当未来用&中央电厂&(云计算)时，电脑将无需主机，所有的数据将存储于&中央电厂&。
&云计算&就是一台超级计算机，里面不仅存储着无数数据和软件，还能提供&计算&功能。它可以是企业的&中央服务器&，也可以是个人电脑的&中央大主机&。两种含义结合起来理解，或许才能更好地阐释&云计算&。
【编辑推荐】
【责任编辑： TEL：（010）】
关于的更多文章
华为云计算大会是每年一度的行业盛会，经过四年的发展，已经成为
随着云计算、物联网、大数据、移动互联网的大发展，你应该知道这些。
本专题将着重介绍Hyper-V在虚拟机网络方面的改进；网
本书共分两篇，15章。其中前6章为网络理论基础篇，介绍的是基本的网络技术，包括计算机网络分类、网络通信协议、IP地址和网线制
51CTO旗下网站