文档中心

对象存储

请输入

TOS PyTorch Connector

TOS PyTorch Connector 概述

TOS PyTorch Connector 是火山引擎 TOS 针对 AI 训练场景所提供的高性能数据读写工具。通过 TOS PyTorch Connector ，可以高效地读取 TOS 中的大模型训练数据，显著加速 PyTorch 框架下大规模机器学习或深度学习项目的数据加载效率。

功能优势

对比项	使用 TOS PyTorch Connector	不使用 TOS PyTorch Connector （如 Python SDK、FSX）
性能	高，针对数据集加载和检查点数据的读写进行了专项优化。	低，缺少针对性优化。
数据加载方式	支持流式加载，有效降低成本和管理负担。	需预下载（预热）数据，增加额外成本和管理负担。
数据访问	通过 HTTP 协议直连 TOS 读写，访问路径最短。	如 FSX 场景会经过一次 FUSE 协议的转换，增加复杂度。
易用性	面向 Torch 框架提供数据集和检查点模型支持，配置简单，开箱即用。	需自行编写代码封装数据集和检查点模型，开发复杂度更高。

功能特性

TOS PyTorch Connector 面向 PyTorch 框架提供了以下三大重点功能：

功能	特性	关联类	方法
映射式数据集	适合随机访问，方便在训练过程中快速获取特定数据。	TosMapDataset	TosMapDataset 与 TosIterableDataset 提供方法相同： from_prefix() 使用 TOS_URI 前缀构建数据集，适用于 TOS 存储路径具有统一规律的场景。 from_urls() 使用 TOS_URI 的列表数据集，适用于 TOS 存储路径位置明确但分散的场景。
可迭代式数据集	适合流式顺序访问，能够高效地处理大量连续的数据流。	TosIterableDataset
检查点接口	在模型训练时从 TOS 中加载检查点，并且在周期性模型训练结束后可以直接将检查点保存至 TOS。	TosCheckpoint	TosCheckpoint() 初始化 TosCheckpoint 对象，用于在模型训练时从 TOS 中加载检查点，并且在周期性模型训练结束后可以直接将检查点保存至 TOS。 TosObjectReader() TosCheckpoint 对象方法，用于从 TOS 中读取检查点。 TosObjectWriter() TosCheckpoint 对象方法，用于将检查点写入 TOS 中。

工作原理

通过 TOS PyTorch Connector 使用 TOS 中的数据进行 PyTorch 训练的流程如下图所示：

使用流程