大数据技术已经站在了存储领域的风口浪尖上,各种分析研究所指的数据爆炸趋势,使得大数据不可避免地成了众多厂商的一个新宣传点以及战略目标,提醒人们要换个角度思考PB级存储。
EMC、IBM公司、HP公司、Oracle、NetApp在内的主流存储厂商都铺开了自己的大数据策略,就像当年云计算的风靡一样,大数据领域变得越来越拥挤,厂商纷纷在调整各自的定位与战略以抢占先机。那么,2012年大数据领域将会有什么新的变化和动向呢?我们看到,大数据厂商的成长,正在带动Hadoop的迅速升温。
Hadoop是一种基于免费许可、支持数据密集型分布式应用的软件框架,建立在MapReduce技术上,使应用可以处理数千个节点和PB级数据,让数据处理和数据分析变得更加方便快捷,应用于企业中将改变很多企业的业务模式,它包括但并不局限于分布式计算Hadoop。
Hadoop在可伸缩性、强健性、性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。
Hadoop似乎已经变得无处不在,EMC、DELL公司、IBM公司、甚至微软都已经开始跻身Hadoop阵营。例如,EMC推出了针对常用于数据密集型分布式应用的Apache Hadoop开源软件以及高性能的Hadoop专用数据协同处理设备--Greenplum HD数据计算设备(Data Computing Appliance)。
DELL公司宣布与Cloudera新的合作伙伴关系从而加入了日益庞大的Apache Hadoop俱乐部。
IBM公司则利用IBM公司 InfoSphere BigInsights软件,在SmartCloud Enterprise上运行Hadoop。
连微软也开始涉足Hadoop领域,宣布在Windows Azure和SQL Server中整合Hadoop-as-a-Service服务,在2012年提供给那些在其平台上处理大数据的公司。
众多厂商拥抱Hadoop,说明客户和开发者需要有能够应对各种大数据的工具。 事实上现在有很多调查报告都指出,有许多企业机构都在考虑或者正在使用Hadoop平台进行数据挖掘,执行大量以前不可能实现的数据分析,应对非结构化数据并更好地利用计算资源。
并且,为了充分利用Hadoop和类似技术,软件开发商们也在开源社区里开发出各种各样的技术。虽然开源技术还没有得到商业支持。但根据IDC预计,年内至少有三家商业公司会给予Hadoop支持。同时, 不少厂商将发布配有Hadoop组件的分析工具,这种工具能帮助企业开发自己的应用程序。
从长远来看,Hadoop也将发展到人们对此了解并不深入但几乎大家都听说过的阶段。一旦遇到涉及大量非结构化的数据采集和处理时,Hadoop就会有很大的用武之地,相信明年将是Hadoop大展拳脚的一年。