对象存储
对象存储
对象存储
文档指南
请输入
产品动态
产品公告
产品计费
快速入门
用户指南
存储桶管理
基础设置
容错与容灾
ObjectSet
文件管理
监控与告警
权限配置
IAM 策略管理
典型配置场景
IAM 子用户授权
使用工具及 SDK 的授权说明
接入点
单区域接入点（SRAP）
内容感知与处理（SenseFlow）
TOS Agent
数据处理
分层命名空间（HNS）
TOS Vectors
API 参考
向量桶
SDK 参考
Python-Vectors
向量桶
向量索引
Java-Vectors
向量桶
向量索引
Node.js-Vectors
向量桶
向量索引
工具指南
tosutil
常用命令
辅助命令
TOS Browser
FSX
TOS PyTorch Connector
tosfsspec
API 参考
签名机制
存储桶
桶基础操作
自定义域名
数据处理
媒体处理
视频转码
音频转码
ObjectSet
生命周期
对象
基础操作
分片上传
SDK 参考
Java
存储桶接口
管理桶配置
ObjectSet
对象接口
下载对象
数据处理
视频处理
日志配置
分层命名空间
Python
数据处理
存储桶接口
对象接口
上传对象
C++
存储桶接口
对象接口
Go
对象接口
存储桶接口
管理桶配置
ObjectSet
数据处理
日志配置
Node.js
存储桶接口
对象接口
上传对象
数据处理
Browser.js
上传对象
.NET
对象接口
PHP
对象接口
异常处理
Android
对象接口
iOS
对象接口
Harmony
存储桶接口
对象接口
上传对象
Rust
存储桶接口
桶基础操作
桶清单
自定义域名
对象接口
基础操作
错误码
01-SERVICE_ERROR
02-AUTH
03-ACCESS_CONTROL
04-QOS
05-REQUEST
06-BUCKET
07-LIFECYCLE
08-ACL
09-CORS
10-POLICY
11-MIRROR
12-REPLICATION
13-WEBSITE
14-NOTIFICATION
15-ENCRYPT
16-CUSTOMDOMAIN
17-OBJECT
18-TAG
19-MULTIPART
20-STORAGE_CLASS
21-CALLBACK
22-DATA_PROCESS
23-BATCH
24-STORAGE_LENS
25-INVENTORY
26-DIRECTORY_BUCKET
32-WORM
常见问题
最佳实践
AIGC-豆包大模型最佳实践
校验数据一致性
- 文档首页
对象存储工具指南TOS PyTorch Connector 使用TOS PyTorch ConnectorTosIterableDataset
复制全文
下载 pdfTosIterableDataset
文档反馈
问问助手本文为您介绍如何通过 TosIterableDataset 构建 Dataset。
前提条件
构建 Dataset
构建方式
在使用 TosIterableDataset 构建 Dataset 时，有两种构建方式：
- TOS_URI 前缀：适用于 TOS 存储路径具有统一规律的场景。
- TOS_URI 的列表：适用于 TOS 存储路径位置明确但分散的场景。
通过 TOS_URI 前缀构建 Dataset
以下示例用于使用 TosIterableDataset 的 from_prefix() 方法构建 Dataset。
class TosIterableDataset(torch.utils.data.IterableDataset):
@classmethod
def from_prefix(cls, prefix: str, *, region: str, endpoint: Optional[str] = None,
transform: Callable[[TosObjectReader], Any] = None,
cred: Optional[CredentialProvider] = None,
client_conf: Optional[TosClientConfig] = None,
sharding: bool = False,
use_native_client: bool = True,
reader_type: Optional[ReaderType] = None,
buffer_size: Optional[int] = None,
enable_crc: bool = True,
prefetch_concurrency: int = 0):
...
通过 TOS_URI 的列表构建 Dataset
以下示例用于使用 TosIterableDataset 的 from_urls() 方法构建 Dataset。
class TosIterableDataset(torch.utils.data.IterableDataset):
@classmethod
def from_urls(cls, urls: Union[str, Iterator[str]], *, region: str, endpoint: Optional[str] = None,
transform: Callable[[TosObjectReader], Any] = None,
cred: Optional[CredentialProvider] = None,
client_conf: Optional[TosClientConfig] = None,
sharding: bool = False,
use_native_client: bool = True,
reader_type: Optional[ReaderType] = None,
buffer_size: Optional[int] = None,
enable_crc: bool = True,
prefetch_concurrency: int = 0):
...
参数描述
参数列表 | 是否必填 | 类型 | 示例值 | 说明 |
参数列表 | 是否必填 | 类型 | 示例值 | 说明 |
urls | 是 | str ｜ Iterator[str] | ['tos://bucket/key1', 'tos://bucket/key2'] | 单个 URL 的格式为 tos://{bucketname}/{objectname}。 |
prefix | 是 | str | tos://bucket/prefix | 格式为 tos://{bucketname}/{prefix}。 |
region | 是 | str | cn-beijing | 火山 TOS 地域。 |
endpoint | 否 | str | http://tos-cn-beijing.volces.com | 火山 TOS 访问域名。 |
transform | 否 | Callable[[TosObjectReader], Any] | def transform(item): data = item.read() return item.key, item.size | 转换函数。 |
cred | 否 | CredentialProvider | CredentialProvider('ak', 'sk') | 访问密钥配置。 |
client_conf | 否 | TosClientConfig | - | Connector 参数配置。 |
sharding | 否 | bool | True | 是否开启多进程共享数据模式。 |
reader_type | 否 | ReaderType | ReaderType.RANGED | TosObjectReader 子类型，支持的值：
|
buffer_size | 否 | int | 8388608 | 当 ReaderType 为 ReaderType.RANGED 时有效，代表缓存块大小。 |
enable_crc | 否 | bool | True | 是否在上传场景和顺序读场景校验读写的数据一致性。 |
prefetch_concurrency | 否 | int | 32 | 预加载读取数据集的并发数。 |
代码示例
以下代码示例用于 PyTorch 创建数据加载器，region、endpoint、ak/sk 等参数需要替换为您所需参数。
from tostorchconnector import CredentialProvider
from tostorchconnector import TosIterableDataset
from torch.utils.data import DataLoader
# 数据集路径
dataset_uri = 'tos://bucket/prefix'
region = 'cn-beijing'
# 火山 TOS Endpoint
endpoint = 'http://tos-cn-beijing.ivolces.com'
ak = '<your-access-key>'
sk = '<your-secret-key>'
# 数据批次大小
BATCH_SIZE = 256
# 工作进程数
NUM_WORKERS = 32
# 数据转换函数
def transform(item):
data = item.read()
return item.key, item.size
# 使用 TosIterableDataset.from_prefix 从指定的数据集前缀构建数据集对象
with TosIterableDataset.from_prefix(dataset_uri,
region=region, endpoint=endpoint,
transform=transform,
sharding=True,
cred=CredentialProvider(
ak=ak,
sk=sk)) as dataset:
# 基于构建好的 dataset 创建 DataLoader
train_loader = DataLoader(dataset=dataset, batch_size=BATCH_SIZE, num_workers=NUM_WORKERS, shuffle=False)
#使用 DataLoader 进行迭代训练/读取
for data in train_loader:
print(data)
最近更新时间：2026.02.03 11:38:31
这个页面对您有帮助吗？
有用
有用
无用
无用