欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

融入“芯” 英特尔Hadoop应对大数据应用

程序员文章站 2022-12-02 14:46:59
随着大数据时代到来,特别是Hadoop成为市场应用的焦点,从Hortonworks提供Hadoop大数据平台Windows测试版,EMC针对Cloudera发布名为“Pivotal HD&...

随着大数据时代到来,特别是Hadoop成为市场应用的焦点,从Hortonworks提供Hadoop大数据平台Windows测试版,EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版,以及HP加入Hadoop并提供安全插件ArcSight。英特尔周三也发布其Apache Hadoop相关的方案变化。

从国外ZDNET网站获悉,围绕大数据这一点,EMC和HP本周都有所动作。而Intel大数据方面更是针对创新的应用方面,将Hadoop直接固化到芯片中,目的是海量大数据实现更好的业务决策,同时更迅速地识别潜在的安全威胁。

融入“芯” 英特尔Hadoop应对大数据应用

Apache Hadoop Distribution(来源intel.com)

英特尔加强为数据中心提供了一个框架,可以连接和管理设备并实现一个可扩展的方式,Hadoop架构具有巨大的潜力,可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。

融入“芯” 英特尔Hadoop应对大数据应用

网络和I/0方面的优化(来源intel.com)

另外,针对的芯片就是指Xeon产品,并在网络和I/0方面针对数据分析“新应用层”有特别的优化。英特尔至强处理器平台对网络和I/O技术所做的优化,有助于实现更高的分析性能:以往分析1TB的数据需要4个多小时到如今7分钟。

此外,除了使用AES-NI指令集有20倍的提升加密速度以外,Intel Hadoop分布式框架还将通过SSD缓存加速来实现优化,查询速度将比Hive快8.5倍,通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。

而在安全方面上,英特尔提供一个“完整加密”的Xeon处理器方案,从而使得企业用户不牺牲性能即可实现数据的高安全性。

Intel将与24个合作伙伴携手,通过Hadoop融入到Xeon的解决方案推广到公有云和私有云中,同时,英特尔投资也一直投资于从事突破性大数据分析技术研发的公司,包括开发MongoDB的10gen 和大数据分析解决方案提供商Guavus Analytics。