- 文档首页
弹性文件存储
弹性文件存储 EFS
产品简介
应用场景
应用场景
本文介绍弹性文件存储 EFS 适用的业务场景。
集中存储 PB 级传感器数据(图像/点云),支撑海量素材高效标注、模型训练与仿真验证,加速算法迭代。
- 数据收集:原始文件通常在百 PB 规模,需要低成本存储,推荐使用 TOS。
- 数据处理:数据处理过程通常会产生 10PB 左右规模的临时数据,需要更高的访问性能,推荐使用 EFS。EFS 提供数据流动能力在文件存储和对象存储之间不断的流动原始文件和抽帧/标注数据,以达到最高的性价比。
- 模型训练:当前由于训练框架支撑的 GPU 数据量以及云厂商一个集群能够提供的 GPU 卡数量有限,通常需要拆分成多个训练集群,对应的就需要配套多个高性能存储集群,每个集群都需要具备几十到百 GBps 的吞吐能力,推荐使用 vePFS,多个集群累计需要几十到百 PB 规模。
- 软件仿真:这个阶段对存储量的需求不大,百 TB 规模,但是对应性能有一定的要求,所以通常也是推荐 EFS,同样也需要数据流动能力,以达到最高的性价比。
- 日志存储:训练过程中会产生大量的日志随机写,推荐使用 EFS。
打破传统训练(模型学习数据、生成参数)与推理(模型用参数进行预测)阶段的割裂,通过软硬件协同设计、资源动态调度、数据链路打通等方式,实现全生命周期的高效协同。
- 推理需求波动大:如直播平台的流量峰值与低谷差异可达 10 倍以上,造成低谷时推理资源浪费。
- 训练任务多样化:除了大规模预训练,还有微调(用小数据集适配特定场景)、增量训练(基于新数据更新模型)等轻量训练任务,可以与推理共享资源。
- 数据链路割裂:训练结果(模型文件文件)需要分发给推理环节,推理结果(如用户反馈、预测偏差)也需反向回流至训练环节,链路长且管理复杂。
通过共享相同的底层高性能持久化文件存储(EFS),既可以获得高性能的读写能力,又可以实现资源共享和秒级挂载。
团队高效协作共享文件,细粒度权限管控保障安全,高性能支撑设计、渲染等大文件流畅访问。
最近更新时间:2026.05.12 10:38:15