re:Invent 2023大会:Amazon S3存储提速

日期: 2023-12-04 作者:Tim McCarthy翻译:邹铮 来源:TechTarget中国 英文

AWS的各种生成式AI产品只有在客户坐拥大量可用数据的情况下才能发挥作用,这导致该公有云提供商推出了他们认为对AI训练至关重要的新存储服务。

在本周的AWS re:Invent 2023 大会上,AWS 扩展了其云存储产品,推出了近十几种新的对象、文件和块服务。

AWS 云中的文件存储获得了大多数这些服务,包括对 NetApp 数据平台 OnTap 的 AWS 原生版本的新增功能。据行业分析师称,针对块和文件的一些较冷的存储层也获得这些新增功能,进一步表明了该供应商的大数据举措。

但针对对象存储服务的新增功能占据了中心位置,AWS首席执行官Adam Selipsky在周二的开幕主题演讲中介绍了新的Amazon S3对象存储层。新增功能为传统上速度较慢的存储格式带来更高的性能层。

Selipsky开玩笑说,存储“肯定不可能是一个准备好重塑的领域”,但他接着表示,生成式人工智能需要在技术堆栈的每个部分提高性能。

Futurum Group分析师Dave Raffo表示,总体而言,这些新增功能是对AWS存储产品组合的渐进式改进。与该供应商的头条产品(例如Amazon Q,这是生成式AI助手以及对微软的Copilot的回应)相比,这些存储产品不会使任何IT管理员过渡到AWS。

相反,这些新增功能旨在将现有客户留在 AWS 中,并帮助他们进一步扩大数据足迹。Raffo说,支持大量客户数据来支持AI开发是存储供应商目前的营销策略,而这一信息可能会在几个月内再次改变。

他表示:“这些公告看起来是渐进式的,并且正在为这些存储服务添加功能。”

Amazon快速存储服务

Selipsky 在开幕主题演讲中亲自介绍了 Amazon S3 Express One Zone。

Selipsky和AWS消息人士表示,该服务将为使用对象存储的客户应用程序提供“个位数毫秒的数据访问”,但仅限于在单个可用区中运行。根据该供应商的说法,该服务主要有利于处理大量较小的对象,这可以降低其他处理服务的运行时成本。

AWS表示,用例包括人工智能/机器学习训练、媒体处理和高性能计算。该服务的起价为每 GB 0.016 USD,而 S3 标准分层的起价为每 GB 0.023 USD 或 0.022 USD。

Raffo说,针对该服务的分析师简报表明,Express One Zone使用闪存,而不是对象存储服务通常使用的传统硬盘驱动器。

TechTarget Enterprise Strategy Group 的分析师 Scott Sinclair 表示,Amazon S3 是跨云服务的通用对象存储标准,由于其访问速度较慢,过去没有用于数据库或其他需要高性能的应用程序。

对象存储被认为对访问频率较低的数据或存储库存储很有用。Sinclair说,现在,随着更便宜的闪存的出现,企业将对象存储视为一种最大化可用存储并收集大量数据集用于AI/ML开发的方式。

他说,很多云客户已经积累了大量用于人工智能训练的数据储备,并且不太可能支付将其移出的成本。

Sinclair 称:“数据具有重力。当你在云中存储2 到 4 PB 的数据,这些数据将不会去其他任何地方。”

他补充说,有效的人工智能管道,至少是那些希望为企业保持一定速度的管道,现在正在寻求全闪存。

Sinclair 称:“人们需要在整个数据管道中使用闪存。它不再是小型快速存储或大型慢速存储。一句话:一切都需要快速。”

Dragon Slayer Consulting公司总裁Marc Staimer说,云存储速度的提高仍然不是AWS可能吹捧的最先进的性能。

他说,对象存储并不是最适合数据库或高性能计算,它们使用块存储,而本地或托管服务可以提供亚毫秒级的访问速度。更快的对象存储可以为生成式 AI 学习开发带来好处,例如加快检索增强生成(一种学习强化技术)。

Staimer 称:“这不是新鲜事物。我称之为高性能对象存储。如果你真的想要性能,则不会使用S3,你将使用不同的存储。”

文件扩展

在 re:Invent 大会上首次亮相的存储产品和功能中,约有一半与 AWS 提供的文件存储服务有关,包括 Amazon Elastic File System (EFS) 和 Amazon FSx for OpenZFS。

Amazon EFS 现在提供复制故障恢复功能,支持将更改从备份复制到主文件系统,并提高服务的总 IOPS。 Amazon FSx for OpenZFS 现在能够将快照从客户 AWS 账户中的一个文件存储系统发送到另一个文件存储系统。

AWS 中的文件存储客户可以通过 Amazon EFS 存档层获得更冷的存储选项。该服务针对客户预计每季度访问一次的数据,价格为每月 0.008 USD,而标准 S3 层为 0.30 USD,不频繁访问 S3 为 0.016 USD。

对于弹性块存储(EBS) 客户,AWS Backup 服务通过快照存档添加了额外的快照管理功能。保留期至少为 90 天的 EBS 快照可以设置为在快照生命周期中自动移动到较冷的快照存档中。

AWS Backup服务现在还提供自动还原测试和验证,使客户能够在发生灾难时频繁测试其恢复过程。

文件存储 OnTap

Amazon FSx for NetApp OnTap 是基于 NetApp  技术构建的 AWS 原生文件服务,它还增加了新功能,包括横向扩展文件系统功能,适用于 Virtual Private Cloud 的多个可用区,以及使用 AWS 控制台对 FlexGroup 卷进行存储管理。

新的 OnTap 横向扩展文件系统功能增加了 NetApp 平台可在 AWS 中管理的总存储量,即增加了横向扩展文件系统。OnTap 系统现在可以处理多达 1 PB 的数据,与传统 PB 的数据相比,与纵向扩展系统的 192 TB 相比,它提供了更多的空间。

其他改进包括增加读取和写入的吞吐量,以及 IOPS 增加。与纵向扩展系统的多个区域相比,该选项仅限于单个可用区。

Sinclair 说,在过去几年中,AWS 在展示NetApp 作为文件系统合作伙伴的地位,因为创建和管理文件存储系统具有挑战性。考虑到NetApp的存储传统,以及它与其他公共云的业务,Sinclair表示,他相信AWS从讨好NetApp中获益会很大。

Sinclair 称:“构建好的企业文件系统非常困难。当你在 AWS 中查看第三方存储选项时,将其与 AWS 接口搭配使用是一种差异化。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

翻译

邹铮
邹铮

相关推荐

  • 网络弹性存储:勒索软件的最后防线

    存储供应商正在其产品中添加更多称为网络弹性的网络安全功能,提供了小规模但仍然有价值的防御层,以抵御勒索软件或其 […]

  • 企业Kubernetes和容器存储

    在Kubernetes容器平台推出十年后,企业IT基础设施团队在如何支持Kubernetes与传统IT需求方面 […]

  • 多执行器硬盘技术入门

    多执行器技术使构建同时提供高容量和高性能的硬盘成为可能。 希捷一直处于这项工作的最前沿,其次是西部数据。他们的 […]

  • AI和云存储如何协同工作

    人工智能是一种变革性技术,可帮助企业节省时间、降低成本并提高运营效率。首席信息官和其他技术领导者可能会想知道, […]