数据正在快速增长,根据预测,到2024年全世界每年产生的数据总量将会达到143ZB。快速增长的数据需要海量的磁盘来进行存储,但事实上无论是数据中心、边缘还是终端产生的数据只有不到2%能有机会被存储下来,现代企业级存储架构正面临着许多挑战。
首先,存储性能亟需大幅提升,以实现更低的延迟、更高的IO性能和更大的带宽;其次,对于企业来说,成本永远是最重要的,也就是要求存储系统的总体拥有成本(TCO)要尽可能的低;最后在能耗方面,例如我国“30·60”碳达峰和碳中和的目标,因此数据中心还面临着绿色环保的要求。
由此,用户在数据中心存储系统方面的需求可以概括为大容量、快速访问、降低成本、降低能耗。想要同时达到这四个方面的要求,其实很难用一种介质或者设备来满足,需要创新的产品和架构来帮助实现。
在7月27日举行的第三届OCP开放计算中国社区技术峰会上,西部数据公司副总裁兼中国区业务总经理刘钢做了主题演讲,为我们分享了西部数据的创新数据存储解决方案及存储架构,以及在开放计算平台方面的最新进展。
·数据分层存储 冷数据需要海量HDD
提到海量的数据,就要引入数据分层存储的概念。因为不同的数据具有不同的特性:有的数据所需的容量巨大,有的数据则需要快速的访问。我们可以按照大容量、低时延这两个指标来帮助区分数据的类型和数据对存储的需求。
如果是需要实时或者极低时延访问的数据,但对容量要求并不是很高,可以视为极热数据;如果需要超大容量,但对访问时延相对不敏感,可以视为极冷数据。中间还可以分为热数据、温数据、冷数据。不同的数据要采用不同的存储介质和设备去满足它的需求,这样才能做到既满足大容量,又满足快速访问,同时还降低成本。
在现代数据中心里,存储冷数据和极冷数据,通常使用大容量高密度的HDD,业界主流的硬盘容量已经达到18TB。事实上,许多数据中心企业还在采用12TB和14TB容量的硬盘,去年Q3全球数据中心最主要的大容量硬盘的大小是14TB,今年18TB硬盘的部署已经超过了14TB硬盘,成为主流。
切换成更大容量的硬盘能带来什么样的优势呢?显著的优势之一就是TCO(总体拥有成本)的降低。
18TB的单盘容量要比14TB高出29%,因此在同样容量的时候,可以减少22%的服务器部署,单位功耗(W/TB)可降低21%,服务器成本降低11%,总体拥有成本可以降低17%。所以,很多国内和国际大型数据中心从今年年初开始,都在快速地部署18TB硬盘,甚至一些头部互联网公司已经开始在为20TB容量硬盘的部署做准备。
西部数据将市场领先的硬盘创新技术——包括能量辅助磁记录(ePMR)技术、业界领先的三阶寻轨定位系统(TSA)以及第六代HelioSeal技术——扩展到强大的数据中心产品组合中,旨在提供更高的面密度和更低的TCO(总体拥有成本),以满足客户和市场的多样化需求。
自今年3月份开始,新款16TB和18TB Ultrastar DC HC550 CMR HDD已经向部分超大规模数据中心和企业级OEM客户发货。
·解决声波振动的开放计算项目
对于分布式存储系统来说,硬盘部署密度已经可以达到4U106,高密度的大容量机械硬盘的部署,虽然可以为数据中心降低成本,但也带来了一些问题,例如:声波振动。
当磁盘容量变大,碟片密度随之变高,碟片之间的距离更近,磁头与碟片距离也更近,硬盘就更容易受到服务器内部噪声、振动等因素的干扰,造成性能变化。而且,当一台服务器里的硬盘密度增高时,为了散热,往往需要加大风扇的功率、频率和转速,对于硬盘的干扰还会进一步加大。
针对于此,西部数据也与开放计算合作了一个项目,从开放计算整个系统的角度来考虑这些因素会带来什么样的影响。西部数据的监测表明,硬盘的振动或者是风扇的振动带来的性能影响其实没有噪音带来的影响大,也就是说声波产生的声压对硬盘性能的影响其实更大,声压产生的影响占约80%,其他结构性振动的影响只占约20%。
因此西部数据在开放计算的项目中开发了专门的工具Vibro-Acoustic,可以准确地监测声压的变化以及对于硬盘性能带来的影响,根据数据分析来帮助改进风扇设计、放置位置等,继而改善整个系统,来保证部署高密度存储设备的时候能够让存储和整体设备保持高性能。
·基于先进闪存技术的快数据解决方案
如前述,现在数据中心往往采用分层存储的部署方式。解决了大容量极冷数据的存储问题之后,接下来的问题就是需要快速访问的极热数据。这部分挑战主要包括热数据、温数据的存储需求,就到了SSD产品大展身手的时候。
在企业级SSD产品方面,西部数据也占据着牢固的优势。我们知道SSD需要有大规模的Flash生产和供应能力,西部数据和铠侠一起拥有全世界34.9%的Flash的产能,也构建了全世界最大的千兆晶圆厂,所以西部数据在闪存颗粒方面拥有着规模优势。
技术方面,西部数据已经发布了第六代3D闪存技术,大幅度地提高了密度。层数堆叠已经达到162层,横向密度也提高了10%,每片晶圆的比特数比上一代提高了70%。
除了规模和技术优势,西部数据还拥有自主的控制器和固件,因此,西部数据得以达成领先的固态硬盘纵向集成优势,这有助性能和稳定性的持续提升优化。
基于此,西部数据的固态硬盘产品组合为客户提供更优更广泛选择的存储解决方案,从SN640的主流工作负载到近期发布的新款Ultrastar DC SN840 NVMe固态硬盘,具有最佳的计算存储和缓存性能。
另外,西部数据还引入了新的ZNS(分区命名空间)存储,采用最新的软件技术或者算法技术,大幅改进了传统SSD在写入与垃圾回收同时进行的时候,写入性能大幅下降的问题,有效地提升了规模和利用率,不必再设立预留空间,既提高了性能,同时又降低了成本。这些优势在软件公司和生态系统中可以进一步地发挥出来。
·西部数据创新存储架构 助力开放计算
另外,西部数据还推出了一系列新型共享存储平台及服务器,帮助用户过渡到更高效、更优质的共享存储架构,从而满足高性能应用和工作负载不断变化的存储需求。也就是开放式可组合的分解式架构,也是未来开放计算硬件部分的一个趋势。
例如针对SSD的OpenFlex Data24 NVMe-oF存储平台。它能支持24个高性能的固态盘,能被服务器集群使用,相当于每一台服务器里面都有了快速的固态盘,能够提供快数据的访问,这样既能够做到设备之间的数据的共享,也能够降低成本。
不难发现,作为一家同时拥有HDD和Flash研发技术的公司,西部数据提供的存储解决方案不只是在终端,而是从芯片到系统,从云到边到端的全线存储解决方案。应用场景包括照相机、手机、无人机、VR等存储设备,以及PC、笔记本这样的计算设备和IoT设备,再到数据中心高密度硬盘、SSD和平台的JBOD等解决方案产品。所以,随着开放计算扩展到除了数据中心以外更多的地方,西部数据的存储方案和存储产品也能相应地支持和配合开放计算的发展。
在开放计算的下一个10年,西部数据也希望能够在更多的领域为开放计算提供存储解决方案,与行业合作伙伴一起推动开放计算的发展。据悉,西部数据已经在与一些互联网公司进行基于氦气封装硬盘的液冷测试,有助于进一步帮助数据中心降低PUE (Power Usage Effectiveness,评价数据中心能源效率的指标)。