大数据似乎无处不在,但现实中这一新趋势某些方面并不新,我们知道有些环境数据量是呈指数级增长的,据IDC 2011年6月发布的数字宇宙研究报告显示,2011年创建和复制的信息将超过1.9ZB(1.8万亿GB),5年内几乎增长了9倍。
大数据有些方面的确也有新意,各种数据源正快速增长,我们已进入半结构化和非结构化的境界(如社会化媒体互动、富媒体文件和地理信息),企业机构需要抗衡的是不断增长的数据(如实时传感器数据)。
IDC亚太区合作伙伴副总裁Philip Carter说:“大数据的这些新的方向为IT管理者带来了空前的复杂性,他们意识到这些海量数据集不能使用传统的数据库和架构来处理,管理和分析,大数据的真正价值在于高端分析、数据挖掘、统计、优化、预测危机和趋势,以及为用户带来更好的决策能力。”
企业在亚洲的投资增长有力地推动了这一新兴市场,他们利用分析为主导的解决方案获得更好的客户洞察,更有效地管理风险和财务指标,同时争取独特的细分市场。2011年2月,C型晴雨表调查得到了亚太区1000多位CIO和LoB的响应,IDC发现商业分析排在最前面,他们希望藉此为企业获得足够的竞争优势,此外,IDC在2011年6月针对亚太区(除日本外)1300多名CIO和IT决策者做了一项调查,调查结果显示,数据管理和分析排在组织最高优先级业务。
但是,这个针对大数据的商业分析方法和传统的方法有很大的不同,与传统分析相比,大数据分析收集了我们需要或不需要的数据,从分析的角度来看,这意味着我们不知道我们不知道什么,在大数据上运行一次分析,变量和模型可能是全新的,因此,需要不同的基础设施战略,以及(可能最重要的)新技能。
为了迎战大数据带来的挑战,组织必须开始研究部署,不仅仅是传统的商业分析,还包括支持架构,以便有效扩展,IDC建议考虑云计算,分析设备的部署,创建真正可扩展的利用高性能计算特性的企业架构,这个方法也允许新技术和新框架的部署,如使用Hadoop支持大型异类、非结构化数据的分析,这需要新技术技能,特别是新兴技术——如Hadoop、Map Reduce和Key Value Stores——以及经过改进的商业分析技术,下一代商业分析师将更类似于数据科学家,他们具有很强的统计技能,可以从大型数据集抽取信息,提供给非分析专家,他们也具有理解新算法和分析模型的特殊技能,而这些新算法和新模型可以在短时间内产生重大的商业影响。
结合这些技能维度,IDC认为组织需要从以下几个方面寻找他们的大数据分析战略:
• 技术验证/部署
• 创建商业案例,验证ROI
• 数据治理框架具有清晰的策略,围绕主数据管理,数据质量和数据模型进行指导
• 在合适的时机,请关键的利益相关者参与,确保IT/业务一致性
• 从IT角度出发,必要时请CIO协助支持必要的改造,创造必要的业务影响
作为战略的一部分,有些组织正在组建商业分析能力中心,Philip建议:“这种结构应该包括来自管理,IT和业务部门的利益相关者,确保项目获得一致的业务水平,而不影响数据治理,这是有必要的,尽管围绕大数据有很大的炒作的成分,但CIO需要可行的大数据分析方法,重点放在能对业务产生重大影响的用例上”。