随着 AI、大数据分析等新一代信息技术的快速发展,企业对数据访问延迟、吞吐量等能力提出了更高的要求。在此背景下,TOS 推出 AZ 级别的加速器功能,将 TOS 中的高频访问文件缓存在 NVMe SSD 高性能存储介质上,支持毫秒级延迟的快速响应和高吞吐量的数据传输能力,满足业务性能需求。
TOS 加速器深度融合了 TOS 对象存储服务,提供与标准 TOS 完全一致的数据强一致性保证和原生接口体验,并支持纯读缓存和读写缓存两种模式,满足不同业务场景下的性能与成本需求。
- 纯读缓存模式:适用于读密集型业务,通过缓存热点数据,大幅提升数据读取性能。不支持写加速,写入请求将穿透至后端持久化存储。
- 读写缓存模式:适用于读写混合或写密集型业务,写入数据将直接进入高速缓存并异步沉降至后端,实现读写双重加速。
TOS 加速器具有低时延、高吞吐能力、高性能密度、数据强一致性、弹性伸缩、存算分离、多种预热策略和免费数据流动带宽等优势。
- 数据和客户端处于同一可用区,且采用 NVMe SSD 高性能存储介质,为业务提供个位数毫秒级的下载延迟。
- TOS 加速器的带宽随容量线性增长,提供高达百 GB/s 的突发吞吐能力,为业务提供流畅稳定的数据传输保障。
- 纯读缓存模式下,TOS 加速器提供最高 300MBps/TiB 的容量性能密度。
- 读写缓存模式下,TOS 加速器提供最高 125MBps/TiB 的容量性能密度。其中纯读场景提供最高 125MBps/TiB 的容量性能密度,纯写场景提供最高 42MBps/TiB 的容量性能密度。
- 当 TOS 上的数据发生变化,通过加速器读取数据时,加速器会自动重新加载新数据,确保始终获取到最新的数据。
- 加速器缓存容量和预置带宽可以灵活地扩容或缩容,适应业务快速变化。扩容立即生效,缩容支持每小时修改 1 次,单次缩容限制 100TiB,删除即视为缩容操作。
说明
单次最大缩容限制仅适用于纯读缓存模式加速器。
- 与计算服务器上的缓存空间不同,TOS 加速器可以脱离计算服务器独立运行,支持在线调整缓存空间大小和性能。
- TOS 加速器提供多种预热方式,包括写时预热、读时预热、同步预热和异步预热,满足不同业务场景的预热需求,提升访问效率。
- 写时预热:仅读写缓存模式可用,默认开启且不可配置。客户端写数据时,直接将数据写入到加速器中。
- 读时预热:如果访问的数据在加速器中不存在,则会从 TOS 读取数据返回给客户端,同时写入到加速器。默认开启,不可配置。
- 同步预热:仅纯读缓存模式可用。通过加速域名写入数据时,数据将同时写入到加速器和 TOS 中。具体操作,请参见创建加速器。
- 异步预热:执行预热任务,将目标数据提前写入到加速器中。具体操作,请参见创建预热任务。
- TOS 加速器提供免费的数据流动带宽,不会占用您账号下的 TOS 内网带宽配额,便于您的加速器与 TOS 进行数据交互。
TOS 加速器为业务应用提供了高性能访问、弹性扩展的能力,适用于大带宽、数据重复读的场景。
- 在大模型训练场景中,Checkpoint 文件写入需要极高的吞吐量。可利用读写缓存加速器,提升吞吐能力,为客户提供更高效的数据写入体验,可立即恢复训练。
- 在大数据计算框架中,读写缓存加速器可以作为 MapReduce 框架的 ETL 任务的高性能缓冲区,能够提供高读写性能。任务训练完成后,该缓存数据即可被淘汰。
- 开发机等非正式训练或训练前数据生产阶段,需要高带宽、高 QPS、但对时延相对不敏感(接受个位数毫秒时延),可利用加速器获得更好的成本及性能体验。
- 模型训练或推理阶段,需要高带宽、高QPS、且对时延要求高,一般主要使用近计算侧高性能缓存产品。但由于计算服务器缓存空间有限,当近计算侧缓存空间不足时,需要更快的数据流动效率,此时 TOS 加速器可以作为二级缓存,加速一级缓存读取 TOS 的效率,减少缓存空间不足带来的影响。
- 大数据分析场景下对数据进行查询分析时,数据量通常非常庞大,不确定数据查询范围,且对时效性要求较高。TOS 加速器可以将 TOS 上的数据提前加载至缓存,减少分析延迟,提升分析效率。
- 在特效渲染、游戏场景制作等渲染类场景,通常需要高 QPS 以确保流畅的用户体验,TOS 加速器可以将 TOS 上的海量素材提前加载至缓存,提升数据访问性能,满足小文件场景下高 QPS 的需求。
TOS 加速器通过智能的缓存管理和数据流转机制,在对业务透明的情况下,实现数据访问加速。其核心工作原理依据不同的缓存模式而有所区别。
纯读缓存模式下,加速器作为后端 TOS 存储的透明缓存层,专注于提升数据读取性能。
TOS 加速器通过纯读缓存模式提高数据读取性能,具体的读请求访问流程如下:
- 客户端通过加速域名向加速器发送读请求,该请求会自动转发到 TOS 加速器。
- 收到读请求后,TOS 加速器会从缓存空间中查找数据。
- 如果加速器不存在该数据,则从 TOS 中读取数据返回给客户端,同时写入到缓存空间。
TOS 加速器的纯读缓存模式下,写请求并没有加速效果,所有写请求会穿透加速器,直接写入后端的 TOS 标准存储中,确保数据的持久化。此过程不占用缓存容量,也不会获得写加速。您可以通过同步预热或异步预热策略,将写入的数据主动加载到缓存中。
如果缓存空间已满,则根据数据热度淘汰缓存空间中的低热度数据。
在读写缓存模式下,加速器不仅加速读,更通过“前台写缓存、后台异步沉降”的机制,显著降低写入延迟。
读写缓存模式下的读流程与纯读模式基本一致。无论是刚写入缓存、尚未沉降的数据,还是已沉降并作为读缓存存在的数据,都可以被高速读取。当对象在后端被更新时,缓存会自动失效,确保始终读取到最新版本的数据。
- 客户端通过加速域名向加速器发送写请求,数据被同步写入加速器中。一旦写入成功,客户端即可收到成功响应,实现极速写入。
- 数据写入缓存后,加速器异步地将数据“沉降”到 TOS 标准存储中,完成最终的持久化。
根据配置的过期时间,淘汰缓存空间中已完成沉降的过期数据。
TOS 加速器提供两种灵活的性能模式,以满足不同业务负载的需求。性能(带宽和 IOPS)与加速器的缓存容量或使用容量紧密相关。
加速器性能计算方式如下表所示。
加速器性能指标说明如下表所示。
TOS 加速器支持的地域与可用区详见下表: