You need to enable JavaScript to run this app.
文档中心
对象存储

对象存储

复制全文
下载 pdf
tosfsspec
tosfsspec 性能表现
复制全文
下载 pdf
tosfsspec 性能表现
本文主要介绍 tosfsspec 在不同场景下的性能表现。​
测试场景与环境​
  • 测试场景:​
  • 写场景:使用 open(..., 'wb') 获取可写文件句柄,持续写入多个 GB 级对象,对端到端的写入带宽进行对比。​
  • 读场景:使用 open(..., 'rb') 获取可读文件句柄,持续读取多个 GB 级对象,对端到端的读取带宽进行对比。​
  • 测试数据:​
  • 1 并发:写入/读取总共 N 条,总量约 10GB 的对象。​
  • 32 并发:写入/读取总共 N 条,总量约 10GB 的对象。​
  • 测试环境:​
  • 火山引擎实例规格 ecs.g3ine.24xlarge,96 vCPU / 384GiB 内存,144 Gbps 内网带宽。​
并发写大文件带宽​
下表给出了在不同工具和并发数下,写入大文件的端到端带宽表现(单位:MB/s)。​
​
工具​
并发数​
写带宽(MB/s)​
tosfsspec​
1​
1933.25​
​
32​
15425.33​
说明​
旧版 tos fsspec 实现,非 TOS 官方提供。​
1​
66.03​
​
32​
2054.13​
s3fs​
1​
67.53​
​
32​
2121.28​
​
并发读大文件带宽​
下表给出了在相同环境下,读取大文件的端到端带宽表现(单位:MB/s)。​
​
工具​
并发数​
读带宽(MB/s)​
tosfsspec​
1​
1702.18​
​
32​
10102.15​
说明​
旧版 tos fsspec 实现,非 TOS 官方提供。​
1​
147.84​
​
32​
2189.14​
s3fs​
1​
427.41​
​
32​
4586.67​
​
总结​
tosfsspec 具备更高的端到端读写带宽,整体性能优于同类 fsspec 实现,适用于数据仓库导入导出、大规模日志归档、机器学习训练数据准备等需要高带宽访问 TOS 的场景。​
​
最近更新时间:2026.03.20 11:52:56
这个页面对您有帮助吗?
有用
有用
无用
无用