欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

大数据是新的石油 谁采到了第一桶

程序员文章站 2023-11-01 18:39:22
冬日的圣何塞,依然舒适,阳光照在脸上温暖、祥和。Double Tree酒店会议厅,一个有趣的话题正在被激烈地讨论着:“大数据如此之万能,那为何我还单身?”近年来,越来越多的人追...

冬日的圣何塞,依然舒适,阳光照在脸上温暖、祥和。Double Tree酒店会议厅,一个有趣的话题正在被激烈地讨论着:“大数据如此之万能,那为何我还单身?”

近年来,越来越多的人追捧一句话:“除了相信上帝之外,我们必须相信数据。”“大数据”以其独具的海量、多样性、高价值等特征痴迷了诸多领域的人,似乎它可以解决一切难题。

此刻,这个女孩的问题勾起了美国存储与网络领先厂商LSI公司工程师的兴趣。Bob Quinn最先发言:“这或许是因为你的数据有问题。”但是,紧接着,Bob意识到,通过数据分析和挖掘,其实可以给出更专业、有效的解决方案,就像LSI公司日常为客户提供的业务——有效管理海量数据,同时使数据中心实现最高性能和效率。

Bob是LSI企业战略办公室副总裁兼首席技术专家。Bob的方案是,检索全球单身男士的数据库,将爱情特征进行量化,最终得出一个理想的结果。“数据架构需要改变,原先是单个服务器锁定单个目标,现在是多个服务器追踪多个目标。” 即,有效管理和分析海量数据。

更酷的是,筛选过程可以瞬间完成。“当你进入一个酒吧,看到一个挺顺眼的人,分析工具将帮你一秒钟分析你的DNA和他的DNA,得出结论,你们的孩子将可以进世界*大学,还是会变成一个毒贩子。”Bob说道。这一过程追求得是数据的最高性能和效率。

这听上去很酷?事实上,这仅是大数据的一个简单应用。随着数据分析、存储和管理将渗透到更多的行业和部门,从领先的互联网应用,到相对传统的银行、电信、保险、运输等领域,大数据产生的价值将超乎想象。

大数据并不遥远,也不神秘。在IT基础设施服务商和应用厂商的共同努力下,未来有一天,它将像水、电、煤一样成为我们日常生活的一部分。

商业模式仍然是谜

言必及“数据”时代,大数据到底发展到什么程度?

麦肯锡、IDC等咨询机构发布过一系列令人瞠目结舌的统计报告。有数据统计显示,移动互联网时代的数据飞速增长,过去3年产生的数据量比过去4万年还要多。

数据从生成到消耗,时间窗口非常校每秒钟,人们发送290万封电子邮件;每分钟,人们向Youtube上传60小时的视频;每一天,人们在Facebook上发出40亿条信息。

但是,这一切仅仅说明大数据具备大规模爆发的基础,就如埋藏地下千年的石油宝藏一样丰富,而能否像石油一样被人们开采、利用,却是另外一回事。

目前,大数据在日常生活中已经开始应用。例如:阿里巴巴、亚马逊等电子商务网站从用户以往浏览、购买行为中挖掘潜在需求;Google逾10亿美元收购的以色列地图公司Waze根据实时信息告诉用户哪条路线状况最好等。

不过,LSI公司总裁兼首席执行官Abhi Talwalkar接受21世纪经济报道记者采访时认为:“大数据仍然处于早期发展阶段,离大规模商业化或者盈利仍然有非常遥远的路途。”

目前,大数据的采集仍然以结构化数据为主,非结构化大数据的价值远远未被挖掘出来。据统计显示,10%的结构化数据,存储在数据库中;而有90%的非结构化数据,与人类信息密切相关,如:邮件、视频、微博、位置信息、链接信息等。

Bob告诉21世纪经济报道记者,目前,大数据价值主要有两方面:一个是像谷歌、Facebook等公司具备广告价值的数据,这通常被称为“麦迪逊大道”。目前,大概有80%的数据商业价值都和广告业务有关。另外一个是从数据中抽取信息的商业价值,规模还比较校

“但是,未来十年,广告将是大数据盈利化中价值最小的一部分。”Bob认为。

以中国市场为例,目前,百度、阿里巴巴和腾讯三家互联网巨头流量的转化价值不同。百度和阿里的每个PV转化差不多是五分钱,而腾讯不到一分钱。这背后是搜索引擎和电子商务产生的广告价值要高于网络浏览的数据价值导致。

然而,这个现象可能不久就会被颠覆。“当两套不同的数据,一个是直接与金钱相关的交易型数据,一个是生活形态的数据,两者相互结合反映个人或者生活的全貌时,它所爆发出的商业价值将是另外一番景象。”Bob说道。

遗憾得是,银行、电信、保险等行业的大量交易型数据和信息,都还处在休眠或者半休眠的状态,商业价值被严重忽略、低估。生活、娱乐等非结构化的数据价值挖掘,也只是起步阶段。

不过,那时基于非结构化的大数据商业模式到底是什么样,没有人知道准确答案。这仍然是一个谜,有待求解。

存储的革命和机会

大数据商业开发还只是冰山一角,但是,引发的存储和计算革命,已近在眼前。

海量的数据对存储基础设备提出了新的挑战。LSI公司执行副总裁兼首席运营官Jeff Richardson告诉21世纪经济报道记者,“未来移动等智能设备自身无法完成所有的存储、计算能力,而是必须发送到数据中心。来与往的过程,数据中心的存储和计算能力将变得十分重要。”

大数据时代的存储首先要求存储系统有一定等级的扩展能力,且一定要简便。LSI高级副总裁兼数据中心解决方案部总经理Tom Swinford表示:“由于规模庞大,数据中心运营商特别重视在降低运营成本和占位空间需求的同时,使其IT投资最大化。”

此外,大数据的实时处理能力也必须变得非常强大。目前,各种模式的固态存储设备应运而生,小到简单的在服务器内做高速缓存,大到全闪存系统都带来存储的大飞跃。

更为重要的是,大数据对安全性提出更高要求,比如金融数据、医疗信息以及*情报等都有自己的安全标准和保密性需求。

Jeff表示:“数据安全性在未来还会更加严峻。”当数据并非存在自有的设备上,而是远程存储在其他地方,就容易产生不安感。“LSI做了一系列努力来增强数据的安全性。”

例如,让网络数据的管理密钥更容易;让用户可以在网络上实时监控数据;能有有效对策应对数据安全威胁等。“让网络的供应商、服务的供应商、IT的供应商,都能通过解决方案这一层或者更下一层的硬件,来增强数据的安全性。”Jeff说道。

当然,数据革命的新需求给IT基础设施厂商带来了一次重大的飞跃机会。随着数据的持续增长,存储厂商通过修改以往传统的架构设计适应新的要求,其间的竞争也会更加激烈。

目前,发力大数据领域的IT基础架构厂商主要有IBM、EMC、LSI、英特尔、惠普等公司。在中国市场,IBM提出“智慧的分析洞察”口号;EMC于今年3月在中国启动新的五年计划,提出“大数据业务增长10倍”等目标。

Jeff告诉21世纪经济报道记者,对于LSI公司而言,存在两大机会。一是,移动等智能设备增长带来的数据中心存储需求;二是,4G时代,华为、中兴、爱立信等无线网络基础设施公司对通信处理提出的新需求,这都给LSI公司带来重要的发展机遇。

据悉,在纳斯达克上市的LSI公司自从2009年一直到2012年期间,一直保持着17%的年度增长率。Abhi透露,“随着2014年美国和中国等国GDP增长以及IT支出的增加,尤其是4G牌照颁发大规模部署LTE,LSI公司预期明年还将会有乐观的业绩增长。”

如何抓数据机遇?

IBM、EMC和LSI等公司就像建筑行业的钢筋、水泥,给大数据产业园搭建了最基础的设施,但是,如何在此基础上构建漂亮的摩天大楼,则需要应用厂商甚至传统行业厂商的共同努力。

11月22日,在第六届年度加速创新峰会(AIS)上,诸多专家认为,“企业应该制定一个整合IT战略,应对大数据的获娶整合和管理。”

首先,应该将大数据布局、实施与企业的商业战略紧密挂钩。LSI公司CTO办公室的高级专家Robert Ober告诉21世纪经济报道记者,以金融行业为例,美国最大的银行集团之一美国银行早在两年前的9月就已经把Hadoop(分布式系统架构)集群用作数据集的复制,把它在传统IT架构的应用迁移到Hadoop集群中,这样他们的运转速度、效率就大大提升。

一位不愿具名的对冲基金行业人士告诉21世纪经济报道记者,“金融系统对于大数据的发展趋势已经非常明确,但是在具体实施过程中仍然非常保守。”不过,随着今年以来“互联网金融”概念的火热,阿里巴巴、京东、腾讯等互联网公司倒逼金融体系的改革,金融机构也在拥抱更大的变革挑战。

其次,需要平衡好速度、成本和可接受性等多方面的利益关系。大数据的部署需要高昂的成本投入,对于大部分中小企业来说是一个沉重的成本负担。因此,业界专家预测,真正大规模大数据的应用将在金融、电信和物流等传统领域。

但是,中小型企业需要加强大数据意识,未来的企业组织架构管理中,不再只是设立CEO、COO、CFO等职位,还将拥有CDO(首席数据官)、CSO(首席战略官)等专业人才,通过高效的信息合作方式,给企业的发展插上数据的智慧力量。

就如,亚马逊前任首席科学家Andreas Weigend所说,“数据是新的石油。”有数据才能有竞争的实力。