在大规模机器学习或深度学习项目场景下，数据的高效加载与处理是提升整体训练效率的关键因素之一。本文针对这类数据集加载场景，对比分析在使用 TOS 内网域名与 TOS 加速器下各工具（TOS PyTorch Connector、TOS Python SDK、s3torchconnector）的性能表现，旨在为用户提供数据访问策略的优化指南。

测试说明

测试场景：分别使用 TOS 内网域名与 TOS 加速器，利用 PyTorch 框架模拟机器学习数据集加载场景，对端到端的读取性能上限进行测试对比。

测试数据：使用 2,000,000 张图片，平均每张 120 KB，总量约 220 GB。

测试环境：火山引擎 ecs.g3ine.24xlarge，96C/384G，144Gbps 内网带宽。

性能测试

测试参数

参数	值/配置	说明
batch_size	256	每次处理的数据批次大小为 256 个样本。
num_workers	32	使用 32 个工作进程来并行加载数据。
transform	def transform(item): data = item.read() #do operation return item.key, item.size	未对数据进行预处理，仅读取。
应用层协议	HTTP ＋长连接。	-

数据集构建

工具	数据集	说明
TOS PyTorch Connector	TosMapDataset TosIterableDataset	tostorchconnector 标准数据集，开启预加载，并发 32。
Python SDK	TosMapDataset TosIterableDataset	tostorchconnector 集成了 Python SDK，可以切换到使用 Python SDK 构建标准数据集。
s3torchconnector	S3MapDataset S3IterableDataset	s3torchconnector 标准数据集。

测试结果

工具	数据集	TOS 内网域名耗时	TOS 内网域名 QPS	TOS 加速器耗时	TOS 加速器 QPS
TOS PyTorch Connector	TosMapDataset.from_urls	123 秒	16248	49 秒	40993
		TosIterableDataset.from_urls	120 秒	16668	82 秒	24261
		TosMapDataset.from_prefix	274 秒	7273	258 秒	7718
		TosIterableDataset.from_prefix	168 秒	11912	164 秒	12175
Python SDK	TosMapDataset.from_urls	2295 秒	868	2324 秒	858
		TosIterableDataset.from_urls	1374 秒	1454	1702 秒	1175
		TosMapDataset.from_prefix	2305 秒	865	1856 秒	1073
		TosIterableDataset.from_prefix	1365 秒	1464	1391 秒	1436
s3torchconnector	S3MapDataset.from_objects	2043 秒	975	680 秒	2931
		S3IterableDataset.from_objects	1334 秒	1498	900 秒	2222
		S3MapDataset.from_prefix	2477 秒	804	2210 秒	901.12
		S3IterableDataset.from_prefix	1619 秒	1234	1272 秒	1572

数据分析

根据测试结果，TOS PyTorch Connector 在数据加载性能上明显优于 Python SDK 和 s3torchconnector，QPS 更高、数据加载耗时更短。

在内网域名环境中

在 from_urls 场景下，TosMapDataset 的 QPS 约为 Python SDK 对应方案的 20 倍，TosIterableDataset 约为 12 倍；在 from_prefix 场景下，QPS 也有约 8 倍提升。与 s3torchconnector 相比，TosIterableDataset.from_urls 的 QPS 约为 S3IterableDataset.from_objects 的 10 倍。

启用 TOS 加速器后

在各类加载方式下，TOS PyTorch Connector 的 QPS 均有所提升，其中 from_urls 约提升 2 倍最为显著；相比之下，from_prefix 仅约提升 1 倍，表明加速器对基于 URL 列表的精确并发加载优化效果更佳。

测试总结

在 Python 项目中使用 TOS PyTorch Connector 可实现对 TOS 对象的高效流式访问，大幅提升大规模训练场景中的数据读写性能。如需进一步优化性能，可将加速器与 TOS PyTorch Connector 结合使用进行训练。

对象存储