取消
搜索历史

    大数据下的数据分析-Hadoop架构解析

    来源:存储网 2011-09-06 08:55大数据

    根据不同的业务需求,数据分析的算法也差异巨大,而数据分析的算法复杂度和架构是紧密关联的。举个例子,Redis是一个性能非常高的内存Key-Value NoSQL,它支持List和Set、SortedSet等简单集合,万一你的数据分析需求简单地通过排序,链表就可以解决,同时总的数据量不大于内存 (准确地说是内存加上虚拟内存再除以2),那么显然使用Redis会达到非常惊人的分析性能。

    还有很多易并行问题(Embarrassingly Parallel),计算可以分解成完全独立的部分,或者很简单地就能改造出分布式算法,比如大规模脸部识别、图形渲染等,这样的问题自然是使用并行处理集群比较适合。

    而大多数统计分析,机器学习问题可以用MapReduce算法改写。MapReduce当前最擅长的计算领域有流量统计、推荐引擎、趋势分析、用户行为分析、数据挖掘分类器、分布式索引等。

    (文章为作者独立观点,不代表存储网立场,版权疑问请联系客服。)
    关于我们| 隐私条例| 版权申明| 联系我们

    2018-2022 Copyright © Stor.com.cn