取消
搜索历史

    实现大规模对象存储容量和性能的三个功能

    来源:存储网 2021-03-07 04:03对象存储

    许多组织主要将对象存储系统视为具有成本效益的解决方案,以托管其存档和备份数据。这种心态很有意义,因为它代表了多少组织将对象存储解决方案引入其环境。但是,对象存储的用例不断扩大。

    组织将生成并捕获不断增长的数据量,并部署新的应用程序来处理这些数据以产生新的业务价值。为了满足这些新需求,对象存储解决方案必须提供经济的容量和高性能。

    性能:对象存储的“新爱”
    应用程序现在将对象存储解决方案推向不仅仅是归档和备份数据存储的功能。这些资源包括生成日志文件的应用程序。捕获环境和性能数据的机器传感器;和视频监控。
    组织仍然希望使用经济的存储解决方案来存储这些类型的数据。但是,组织也希望实时研究和分析此数据,以支持决策并采取行动。

    等待数倍甚至数分钟才能完成对象读取,这代表了许多旨在托管档案数据的对象解决方案的规范。期望他们在不到一秒钟的时间内突然提供读取响应时间并非偶然。它们无法满足这些需求,因为它们从未被设计成能够满足这些需求。

    所有对象存储解决方案都面临着不断增长的挑战,即要满足经济容量和亚秒级性能的竞争需求。作为回应,更多的人采取了措施来提供它们。

    最能满足这些新要求的设备具有以下三个功能:
    1在闪存介质上存储对象元数据
    2与容量无关的扩展性能
    3将对象存储在块中并并行处理

    功能1:托管在闪存介质上的对象存储元数据。
    组织应首先验证该解决方案是否提供了将对象元数据存储在闪存介质(NVMe或SAS SSD)上的选项。存储的每个对象都将具有与其关联的元数据。由于解决方案上存储了数百万或数十亿个对象,因此对象元数据数据库将变得庞大。

    这些系统可以并且确实将元数据托管在内存中。但是,这些元数据数据库的大小使该技术在规模上不切实际。将所有元数据存储在闪存介质上可加快对元数据的访问,并提高亚秒级读取响应时间的可能性。
    对亚秒级响应时间的需求解释了为什么Cloudian,Dell EMC和其他公司最近将闪存介质引入其解决方案。其他诸如Scality的选项提供了将元数据存储在闪存中一段时间​​的选项。

    功能2:与容量无关地扩展性能。
    在闪存介质上存储对象元数据仅代表大规模提供性能的关键的第一部分。对象存储解决方案通常通过将新的服务器节点引入群集来同时扩展容量和性能。每个服务器节点可以同时包含闪存介质和HDD,并且两种介质类型的数量均固定。不幸的是,存储解决方案集群中的可用性能可能无法满足应用程序或用户的期望。

    存在两种提高性能的方法。
    1将更多节点添加到群集。每个节点都为群集增加了更多容量和性能。尽管组织将购买不需要的容量,但这可能会改善情况。
    2选择一种解决方案,使他们可以独立于容量而扩展性能。使用这种体系结构方法,组织可以在现有节点中安装新的闪存介质。他们可能会引入以性能为中心的节点,这些节点主要包含闪存介质,很少或没有HDD。这可以提供他们所需的有针对性的性能提升,而无需支付不必要的容量。

    功能#3:将大对象存储为块,并并行处理它们。
    尽管组织可能有一天将其对象数据存储在闪存介质中,但这一天尚未到来。同时,组织将继续将其对象数据存储在HDD上。这可能会带来性能挑战,尤其是在从HDD存储和读取大对象时。

    单个对象的大小可能会达到数百GB(如果不是TB的话)。使用单个过程从群集节点上的HDD读取对象数据将花费大量时间。

    为了提高响应时间,请确定执行以下两项任务的解决方案:
    •首先,在将大型对象写入多个节点和磁盘之前,应将大型对象分解为较小的块。
    •其次,他们应该使用多个并行过程来回读对象数据。

    这些技术用于以下两个目的。将大型对象分布在多个节点和磁盘上可以使该解决方案更快地写回和读取对象。这样可以大规模地提高性能。


    确实存在更新的对象存储解决方案,可以更好地解决Flash Media对象存储解决方案的问题,这些解决方案既可以提供经济的容量又可以实现大规模的高性能。但是,DCIG知道只有少数解决方案可以利用此处提到的所有三个功能来实现这些企业期望。

    企业应警惕已存在10多年的任何解决方案。许多人已将闪存媒体引入其系统中,以将元数据托管在闪存中,以帮助改善其性能。当然有帮助,但是效果如何?

    不幸的是,目前尚不清楚单独采取这一措施在多大程度上有助于实现这一目标。早期证据似乎表明它的翻译效果不是很好。

    通过识别和选择具有更现代设计的对象存储解决方案,可以更好地为那些扩展到PB的组织提供服务。这些更新的解决方案可以更好地解决闪存介质,独立扩展性能和容量以及并行化I / O以提供性能,即使数据存储扩展到多个PB时也是如此。

    (文章为作者独立观点,不代表存储网立场,版权疑问请联系客服。)
    关于我们| 隐私条例| 版权申明| 联系我们

    2018-2022 Copyright © Stor.com.cn