今天人们正在迈向万物互联的世界,这一切离不开科技的发展。从云计算、大数据等技术的成熟到普及,海量数据的产生已成为趋势,而越来越多的数据又增加了人们对于高速、低延迟、大容量的存储的需求。人们看到了海量数据所带来的无穷价值。随之而来的是人工智能、5G等技术的发展。可以说,当今技术发展已经进入一个循环,就是数据越来越多,对技术要求越来越高,同时技术的提升又促成更多的数据产生。而这些变化背后是对数据存储变革的需求。同时也是硬件软件不断迭代升级的过程。在硬件跟不上的时代,通过软件来优化系统,而硬件突破后,软件又成为瓶颈。
今天我们能看到的,首先是海量数据的产生,根据IDC报告,预计到2025年全球数据量将达到163ZB,数据的海量增长让存储系统架构面临挑战。目前分布式存储系统已成为趋势。
同时随着人工智能技术的应用,每天有数十亿的数据条目进入人工智能、机器学习、深度学习和实时分析领域,企业对于存储的性能需求越来越高,闪存因其高速存储的性能在超融合和边缘计算之间引入新的连接点。
对于最底层的存储介质来讲,谁能提供越来越大的容量以及越来越快速度的SSD,谁能更好的了解并融合人工智能、5G技术,谁就将引领未来存储的走向。
美光新品助力优化硬件,打破软件瓶颈
美光科技近期发布了一款存储产品9300 NVMe SSD。从产品上来看,首先相对于相同容量的硬盘来讲体积更小、能耗更低、性能更好。
在性能上,9300系列的读取和写入速度达到每秒 3.5GB,随机写入延迟为 11 微秒(典型值);实现更高的 IOPS,随机读取 IOPS 高达 850000,同时具备最高可达 15.36TB 的海量容量和 32 个命名空间。
美光企业级固态硬盘高级产品经理Cliff Smith
美光企业级固态硬盘高级产品经理Cliff Smith 在接受IT品牌网专访时谈到,美光新推出的9300系列SSD在性能、功耗方面表现突出,促进整个存储系统更高效地处理数据。在过去,很多数据延迟的问题都是由于受到硬件的制约,但是有了新的 NVMe 协议之后,硬件的速度非常快,延迟可以做到微秒级,现在的瓶颈更多是软件的架构如何做得更好的问题。
美光所做的就是与合作伙伴合作,一方面做产品验证,一方面帮助客户改进现有的软件挑战,解决软件方面的瓶颈,有一些 GPU 预处理的工作需要在 CPU 上做,美光会帮他们提升速度,让数据尽可能更多的在 GPU 里运行。
“9300 系列产品能够提升数据处理速度,间接提升了机器学习整个流程的效率。与此同时,我们跟英伟达等合作伙伴开展合作,在进行数据缓存的过程中减少在 CPU 和 GPU 之间的转换,更高效地处理数据,间接解决带宽和速率的问题。” Cliff Smith谈到。
Cliff Smith进一步分享了美光 9300 系列SSD具有领先优势的工作负载和应用场景:
一、美光9300支持人工智能和机器学习中的训练和缓存,其高速读写能够加快提取速度,缩短机器学习/深度学习模型测试和训练周期。
二、针对OLTP,能够改善Microsoft SQL Server、Oracle Enterprise Database、MySQL 等数据库的性能和一致性,提高了平台交易速度。
三、针对金融领域的高频率交易,能够捕获暂时性数据集,存储在本地以改进回溯测试。
四、针对Cassandra、MongoDB 等NoSQL 数据库,以更低的成本构建更快、更小、更经济的集群。
五、针对软件定义存储的支持,以Ceph为例,实现在更小的空间中容纳更多数据块、 数据流和对象。以及在小型随机块存储上,其性能明显优于机械硬盘,并且节点更少。
六、针对已经成熟的架构,包括Hadoop大数据集群下,提供经济实惠的缓存,并且应用于VDI 和 vSAN 缓存层,获得业内领先的性能和一致性。
晶圆制造,让美光对于人工智能有深入理解
固态盘的核心是存储芯片,存储芯片来自晶圆的产生,美光目前在晶圆制造过程中,借助数据分析和人工智能提高了生产效率。半导体制造堪称地球上最复杂的任务之一,存储晶圆的产生需要在无尘室历经1500多个步骤才能完成。每一个步骤都需要及时监测,任何一个步骤异常,都会导致晶圆的失败,因此对每一个步骤的实施监控是提升生产效率与安全性的关键核心,而机器学习和人工智能能以极高精确度和极短时间完成这个任务,探测到熟练工作人员也较难感知到的异常。“每一层晶圆的加封都可能产生一些瑕疵,以前通过肉眼或者显微镜去看这些瑕疵,从效率和精准度来看是很大的挑战。”
美光科技亚太区解决方案架构总监See Ghee Tan
而通过人工智能的深度学习来模拟人的视觉、触觉,将不同的数据通过数据科学家进行分析,可以帮助改进整个生产过程。美光科技亚太区解决方案架构总监See Ghee Tan在专访中分享美光在晶圆生产过程中对于人工智能的理解和利用,“美光从全球500多个服务器、8000余个来源收集数据,随后由数据科学家进行分析,并建立AI及机器学习模型,通过人工智能及深度学习来模拟人的视觉、触觉,做改善和优化,以改进整个生产过程。怎么做到优化?首先是高效率,因为是用机器来完成;另外也做到了提升产品的质量,因为仅靠人工去完成这 1500 多个步骤的话,相对容易出错,而机器出错的几率比较小。”
有的技术没有消失,只是停止增长
在专访的最后时刻,根据Cliff Smith在闪存领域的多年经验,IT品牌网希望他能分享一下对技术创新的理解。
Cliff Smith表示,通过自己多年的观察,存储技术的创新不是一个绝对替代的过程,而是新旧技术不断并存的过程。旧技术不会消失,而是停止了增长。
“根据我在这个行业中多年的经验,旧技术并不会消失,也不会被新的技术完全取代。旧技术一直都在,只不过没有新技术的增长快,因为有一些应用就是需要旧技术,没有必要用新技术替代。比如说 EPROM 技术至今仍在电视机里使用,因为电视机有很多新插口还在使用这一旧技术。”
“我们今天在谈新技术 NVMe,并不意味着 SAS 和 SATA 等旧技术会消失。正如早上的演讲所示,从2020年的数据来看,近七成将是 NVMe接口,剩下三成是 SAS 接口和 SATA接口。人们肯定不会使用容量 20TB 的 SATA,因为光读取就要一天的时间,这样做没有任何意义,肯定会有新的东西来满足新的需求。老的产品,例如 SAS 也会有一些新的功能以提高其可用性。总体而言,NVMe 是新的增长点,但不会让 SAS 和 SATA 产品彻底消亡。”