容器服务
容器服务
容器服务
文档指南
请输入
容器服务 VKE
产品动态
Kubernetes 版本发布记录
组件发布记录
监控组件
DNS 组件
GPU 组件
Sandbox 组件
安全公告
产品公告
历史公告
用户指南
集群
节点池
授权
网络
容器网络
服务（Service）
路由（Ingress）
APIG Ingress
ALB Ingress
自定义转发规则配置示例
CLB Ingress
Nginx Ingress
Gateway API
工作负载
存储
数据管理中心（DMC）
对象存储（TOS）
FSX 访问方式
文件存储（NAS）
FSX 访问方式
弹性文件存储（EFS）
文件存储（vePFS）
FSX 访问方式
vePFS Client 访问方式
NFS 访问方式
大数据文件存储（CloudFS）
弹性伸缩
工作负载弹性伸缩
事件驱动伸缩（KEDA）
组件管理
网络组件
监控组件
DNS 组件
GPU 组件
Sandbox 组件
异构计算
调度管理
可观测性
基础观测
诊断与巡检
最佳实践
网络
可观测性
安全合规
API 参考
集群管理
节点池管理
组件管理
机型镜像管理
云原生观测
巡检诊断
弹性容器实例
附录
开发指南
常见问题
通用 FAQ
集群 FAQ
集群管理
集群升级
节点与节点池 FAQ
授权 FAQ
工作负载 FAQ
服务与路由 FAQ
存储 FAQ
弹性伸缩 FAQ
可观测性 FAQ
配额 FAQ
组件 FAQ
容器镜像 FAQ
AI 云原生
推理套件
Helm 模板 AI 应用
Deepseek 实践
Qwen 实践
最佳实践
MiniMax 模型部署
Qwen 模型部署
弹性容器实例 VCI
最新动态
用户指南
虚拟节点
VKE 集群使用虚拟节点
自建/跨云集群使用虚拟节点
创建 VCI 实例
VCI Agent Sandbox
安全合规
- 文档首页
容器服务AI 云原生推理套件大语言模型应用大语言模型常见问题
复制全文
下载 pdf大语言模型常见问题
文档反馈
问问助手本文主要介绍通过 ServingKit 部署大语言模型应用时的常见问题及处理方法。
*如何在节点上下载自定义模型？
*使用 ServingKit 部署 AI 应用时，若使用自定义模型，需要将自定义模型下载到应用所在 GPU 节点上。您可以按照下文操作下载模型。
*通过 ECS Terminal 方式，登录到应用所在 GPU 节点上。详细操作，请参见 ECS Terminal。
*执行如下命令，在节点上安装 Oniond（模型下载器）工具。
*
*执行如下命令，进入节点的本地盘指定挂载目录。
*
*节点的本地盘指定挂载目录是您在创建 ServingKit 业务相关异构计算托管集群时，在 高级配置 模块的 数据盘 参数下配置的指定挂载目录。默认情况下指定挂载目录为/data01目录。
*
*执行如下命令，将自定义模型下载到节点的本地盘指定挂载目录下，即/data01目录。
*
*模型下载成功后，预期返回结果如下：
*
*
如何在节点上下载自定义模型？
使用 ServingKit 部署 AI 应用时，若使用自定义模型，需要将自定义模型下载到应用所在 GPU 节点上。您可以按照下文操作下载模型。
- 通过 ECS Terminal 方式，登录到应用所在 GPU 节点上。详细操作，请参见 ECS Terminal。
- 执行如下命令，在节点上安装 Oniond（模型下载器）工具。
- curl -fsSL https://mirrors.ivolces.com/extra-tools/debian/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpgecho "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/debian buster main" > /etc/apt/sources.list.d/volctools.list && apt update && apt install -y onion-ai-data
- 执行如下命令，进入节点的本地盘指定挂载目录。
- cd /data01
- 节点的本地盘指定挂载目录是您在创建 ServingKit 业务相关异构计算托管集群时，在 高级配置 模块的 数据盘 参数下配置的指定挂载目录。默认情况下指定挂载目录为/data01目录。
-
- 执行如下命令，将自定义模型下载到节点的本地盘指定挂载目录下，即/data01目录。
- oniond download model <your_model_name> # 将<your_model_name>替换为您实际要下载的模型名称，下方以 GLM-5.2 模型为例，完整命令如下：# oniond download model GLM-5.2-FP8
- 模型下载成功后，预期返回结果如下：
- Download Results:gid |stat|avg speed |path/URI======+====+===========+=======================================================600657|OK | 136MiB/s|GLM-5.2-FP8/model-00077-of-00141.safetensors524cb4|OK | 149MiB/s|GLM-5.2-FP8/model-00079-of-00141.safetensors852a47|OK | 150MiB/s|GLM-5.2-FP8/model-00080-of-00141.safetensors85febd|OK | 151MiB/s|GLM-5.2-FP8/model-00081-of-00141.safetensorsd52b39|OK | 150MiB/s|GLM-5.2-FP8/model-00082-of-00141.safetensorsf22383|OK | 150MiB/s|GLM-5.2-FP8/model-00083-of-00141.safetensors......b90f80|OK | 164MiB/s|GLM-5.2-FP8/model-00130-of-00141.safetensors47bff4|OK | 164MiB/s|GLM-5.2-FP8/model-00131-of-00141.safetensorsb9049f|OK | 163MiB/s|GLM-5.2-FP8/model-00132-of-00141.safetensors134e45|OK | 166MiB/s|GLM-5.2-FP8/model-00133-of-00141.safetensors373a9f|OK | 164MiB/s|GLM-5.2-FP8/model-00134-of-00141.safetensorsc0a415|OK | 165MiB/s|GLM-5.2-FP8/model-00136-of-00141.safetensors73cb8f|OK | 165MiB/s|GLM-5.2-FP8/model-00135-of-00141.safetensorseaccd1|OK | 165MiB/s|GLM-5.2-FP8/model-00137-of-00141.safetensors481532|OK | 66MiB/s|GLM-5.2-FP8/model.safetensors.index.json82a118|OK | 87MiB/s|GLM-5.2-FP8/tokenizer.json2be1f2|OK | n/a|GLM-5.2-FP8/tokenizer_config.jsone7d2ae|OK | 171MiB/s|GLM-5.2-FP8/model-00138-of-00141.safetensors6dde28|OK | 205MiB/s|GLM-5.2-FP8/model-00139-of-00141.safetensors820aaf|OK | 226MiB/s|GLM-5.2-FP8/model-00141-of-00141.safetensorsea5d87|OK | 244MiB/s|GLM-5.2-FP8/model-00140-of-00141.safetensorsStatus Legend:(OK):download completed.Download completed successfully (elapsed 396 s). Repo directory: /data01/GLM-5.2-FP8
最近更新时间：2026.07.27 15:46:14
这个页面对您有帮助吗？
有用
有用
无用
无用