对象存储
最佳实践 | 说明 |
最佳实践 | 说明 |
图片处理在众多领域如互联网、媒体、电商等都有着广泛的应用。火山方舟模型在视觉理解、生图和视频生成等方面展现出强大的能力,而对象存储凭借其高效的数据存储和灵活的数据处理能力,能够为火山方舟的模型提供有力支持。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
Rclone 是一款功能强大的开源命令行工具,支持对接各种云存储系统(包括兼容 S3 协议的对象存储),可用来执行数据上传、下载、同步、管理等操作。 | |
当前,社区为 TOS 提供了 Flutter SDK 的支持,并发布到了 pub.dev 仓库。您可以使用 Flutter SDK 访问 TOS ,实现资源的上传和下载。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
在视频监控、APP、Web 等应用情况下,通常有很多图片、文件、视频等信息需要上传到服务端,或者从服务端下载到本地进行使用。在这种业务场景下,TOS 提供了使用临时鉴权 URL 实现数据安全下载的解决方案,介绍生成临时 URL 下载对象和在客户端发送请求的操作步骤。 | |
在移动 APP 或 PC 客户端直传文件到对象存储的场景中,出于安全考虑,不建议将永久 AK/SK 放到客户端代码中,此时可以由应用服务端通过 STS 机制获取临时 AK/SK,然后再将临时密钥下发给客户端。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
如果您的业务已在其他第三方服务运行,当您需要迁移至 TOS 时,需要保证业务的稳定,避免因为数据迁移导致业务受损。 | |
数据闪送服务是指针对 TB 级数据提供的离线传输服务,您可以将需要迁移的数据写入硬盘或磁盘阵列等物理设备,然后把物理设备通过邮寄等形式运输到火山机房;让技术服务人员实现数据的离线迁移。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
如果您想在 Windows 系统中将对象存储 TOS 作为本地磁盘使用,您可以在 Windows 系统挂载 TOS 存储桶。 | |
如果您想在 Linux 系统中将对象存储 TOS 作为磁盘使用,您可以在 Linux 系统挂载 TOS 存储桶。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
TOS 作为分布式对象存储产品,适合存放图片、视频等素材类文件。如果您需要在图片分发时,同步进行缩放、裁剪、水印、格式转换等处理操作,以提高图片在 APP 端的加载速度,并减少网络分发的流量,您可以组合使用 veImageX 产品。 | |
业务迁移过程中,图片的下行分发已切换到 TOS,但是还有增量图片未迁移到 TOS。您可以使用 TOS 回源功能去源站拉取增量图片,将增量图片写入到 TOS 后,使用图片处理参数处理图片。 | |
通过跨服务授权的方式,视频点播可以对存放在 TOS Bucket 中的文件进行多媒体数据处理,包括视频转码、低成本转码、倍速转码、极智超清、音频转码、截图、画质增强、水印贴片操作。经过处理后的视频文件将仍然存储在 TOS Bucket 中。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
使用 TOS 进行数据上传的过程中,可能会因为公网传输过程中在 TOS 外部的网络劫持、数据缓存等原因,导致数据不一致等问题。TOS 提供了多种数据一致性相关的特性,您可以通过 Content-MD5、Content-SHA256 或 CRC64 确保数据上传的一致性。 | |
使用 TOS 进行数据下载的过程中,可能会因为公网传输过程中在 TOS 外部的网络劫持、数据缓存等原因,导致数据不一致等问题。您可以通过 CRC64 实现下载对象的一致性校验。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
如果您在一个桶内的对象命名规则中使用了顺序前缀(如时间顺序、字母顺序),可能会导致大量对象的请求访问集中在某个特定分区,造成分区访问热点。热点分区上的服务能力受限于存储介质的读写上限,可能会导致请求速率下降。您可以参考本示例列举的方式,优化程序性能。 | |
COSBench(Cloud Object Storage Benchmark) 是一款 Intel 团队基于 Java 语言开发,用于衡量对象存储服务性能的压测工具。您可以使用 COSBench 工具对 TOS 进行读写性能压测,便于您评估对象存储 TOS 的性能,确保业务稳定。 |
最佳实践 | 说明 |
最佳实践 | 说明 |
对象存储 TOS 提供了对 AWS S3 协议的兼容性支持,因此将数据从任何兼容 S3 协议存储迁移到 TOS 后,可以将之前访问该兼容 S3 协议存储的应用几乎无缝地切换到 TOS。 | |
当您访问 TOS 资源时,您的访问速度会受到 TOS 带宽及地域的限制。为了提高访问速度,您可以通过 CDN 访问 TOS 资源。 | |
微信小程序作为一个不需要下载即可使用的应用,吸引了越来越多的人进行开发和使用。如何将微信小程序上的文件上传到 TOS 成为开发者关心的一个问题。 | |
您使用 PostObject 接口,将文件以 HTML 表单的格式,直接从 Web 端上传到 TOS。上传所需的签名可以从服务端获取。 | |
您可以使用私网连接,实现在本地 IDC 通过专线访问对象存储。 | |
在 Pytorch 任务中访问和存储 TOS 数据。 | |
火山方舟是面向开发者的企业级大模型服务平台,提供模型训练、推理、评测、精调等全方位功能与服务,并重点支撑大模型生态。您可以通过 TOS 搭建方舟批量推理任务。 | |
TOS Browser 提供了日志追踪功能,用于追踪文件被分享后的下载行为信息。 | |
对象存储 TOS 通常通过域名进行访问,其服务地址动态变化,不提供固定的 IP 地址。某些行业可能存在安全合规要求,需要通过固定 IP 访问对象存储 TOS。为满足此类需求,您可以在 ECS 实例配置 Nginx 反向代理服务器,通过访问 ECS 实例公网 IP 的 80 端口来访问 TOS 存储桶中的文件,实现通过固定 IP 访问对象存储 TOS 内的资源。 |