本文介绍如何在火山引擎容器服务集群中，快速部署 DeepSeek-R1-Distill 模型推理服务，满足您的业务需求。

背景信息

DeepSeek-R1-Distill：基于 DeepSeek-R1 生成的 800K 样本对原开源模型进行微调得到的新模型，旨在以更小参数规模保留 DeepSeek-R1 发现的强大推理能力。

使用说明

下文主要介绍测试并验证通过的实践内容，为了获得符合预期的结果，同时符合使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的客户经理咨询。

前提条件

在容器服务创建容器集群，需要注意以下列举的参数配置，详细的操作说明参见创建集群。

模型名称	参数量	基础模型	上下文窗口	机型推荐
DeepSeek-R1-Distill-Qwen-7B	7B	Qwen2.5-Math-7B	32k	ecs.xni3c.5xlarge
					ecs.gni3cg.5xlarge/ecs.gni3cl.5xlarge
DeepSeek-R1-Distill-Qwen-32B	32B	Qwen2.5-32B	32k	ecs.pni3l.11xlarge
					ecs.gni3cg.22xlarge/ecs.gni3cl.22xlarge
					ecs.xni3c.22xlarge
DeepSeek-R1-Distill-Llama-70B	70B	Llama-3.3-70B-Instruct	32k	ecs.pni3l.11xlarge
					ecs.pni3l.22xlarge

操作步骤

本文介绍通过火山引擎持续交付产品，完成 DeepSeek-R1-Distill 在已创建的容器服务中的快速部署。

第一步：创建部署集群

将已创建的 VKE 集群接入持续交付平台。

第二步：创建 AI 应用

在持续交付的 AI 应用模块，部署大模型应用。

配置项	说明
配置方式	本示例选择 SGLang。
高级配置	分布式推理支持连通多台主机来部署大模型服务，解决部分场景中单台主机无法部署大容量大模型服务的场景。本示例暂无此问题，不开启分布式推理。机器数：填写部署单个实例所需的机器数。例如，一个大模型服务需要 4 个实例，部署单个实例所需的机器数为 2，则一共需要 4 ✖️ 2 = 8 台机器（节点）部署该服务。如果集群的节点数不足 8 台将导致部署失败。VKE 中增加节点的说明参见集群扩容。 RDMA 配置：是否在资源中开启 RDMA 功能。RDMA （Remote Direct Memroy Access，远程直接内存访问）是一种高性能网络协议，能够减少了CPU 占用，减少内存带宽瓶颈，提高带宽利用率。当前仅高性能计算 GPU 型实例支持 RDMA。在容器服务中，开启 RDMA 资源的使用请参考文档：VKE 集群中使用 RDMA 资源。 RDMA 卡数：开启 RDMA 功能的卡数。

配置项	说明
实例数	选择 1。
弹性容器实例	本示例不选择该功能。
资源配置类型	根据不同的 DeepSeek-R1-Distill 模型，参考下表选择相应配置。

第三步：创建负载均衡

部署完成后，创建工作负载以支持应用在私网和公网中的访问。创建完成后支持通过负载均衡 IP 地址调用大模型。

操作结果

通过本地 curl 命令和已创建的负载均衡 IP 调用大模型 API，即可以成功和 DeepSeek-R1-Distill 模型对话。

配置项	说明
部署资源	选择已创建的容器服务集群。