“很多人都认为,Hadoop和大数据是同义词。但这是个错误,”Olofson解释说。例如Teradata、MySQL和一些“聪明的集群技术”的实施案例都没有使用Hadoop,但也被认为是大数据的实施案例。
作为大数据的一种应用环境,Hadoop之所以能够引起人们的注意,是因为它是基于MapReduce环境的,这是超算圈里很常用的一种简化环境,主要是由谷歌所创建的一个项目。Hadoop是和各种Apache项目密切相关的混合实施环境,其中包含了在MapReduce环境下所创建的HBase数据库。
软件开发人员一般会用一切利用到Hadoop以及相似的高级技术的手段来响应——而这些技术很多都是在开源社区里开发的。“他们创建了一个令人眼花缭乱、变化多端的东西,即所谓的NoSQL数据库,该数据库的键值多数都已利用了各种技术在处理能力、多样化,或者数据库规模上做了优化的,”Olofson说。
开源技术一般是没有商业支持的,“所以这些东西还必须让其进化一段时间,逐渐剔除各种缺陷,而这一般需要数年的时间。这就是说,羽毛未丰的大数据技术当前还无法在普通市场上普及。”与此同时,IDC预计至少有三家商业厂商会在年底之前对Hadoop提供某种类型的支持服务。还有其他一些厂商,如Datameer等,也会提供带有Hadoop组件的分析工具,允许企业开发他们自己的应用。例如Cloudera和Tableau等已经在其产品中用到了Hadoop。