文档中心

容器服务

请输入

ComfyUI 应用

使用 ComfyUI 应用实现数字人对口型播客

本文介绍基于 Wan2.1 + InfiniteTalk，在 ServingKit 中部署和使用 ComfyUI 实现“数字人对口型播客”的基本能力。

方案介绍

ServingKit 提供数字人对口型播客相关 ComfyUI Workflow，该 Workflow 引入了 ServingKit 中的加速节点，模型使用 FP8 精度，通过加速节点实现 8 卡并行 + FP8 激活值量化 + 异步 Offload，实现 1 分钟播客视频生成时间 437.72 秒（使用非加速 Workflow，同等配置下执行时间需 2451.9 秒），极大地缩短了生成时间（80%），提升了创作效率。

Workflow 中的各节点参数说明如下：

Resource Pool

参数	说明
works_per_node	works_per_node为资源池一个节点的 Worker 数量，nnodes为集群节点总数。取值需满足works_per_node × nnodes = gpu_num。如果不使用 Mergepool（资源池合并方案），则works_per_node = gpu_num，nnodes = 1；如果使用 Mergepool，则works_per_node = 1，nnodes = gpu_num。
nnodes
use_gpu	是否使用 GPU 资源： true：是 false：否
max_colocate_count	最大支持的 Worker 数量。如果模型需要DiT、CLIP、VAE三个 Loader，则max_colocate_count取值为 3。
pool_num	资源池名称。

OpenVefuser WanVideo Model Loader

参数	说明
ulysess_degree	Ulysses 并行数。取值需要被模型head_num整除，例如 Wan2.1-14B 模型的head_num是 40，则ulysess_degree可以设置为 40、80 等。
ring_degree	Ring Attention 并行数。
cfg_degree	CFG（Classifier-Free Guidance）并行数，最高为 2，支持 Wan 模型与 HiDream 模型。取值需满足ulysess_degree x ring_degree x cfg_degree = gpu_num。
base_precision	模型推理时的基础计算精度： fp32：32 位单精度浮点计算。 bf16：16 位脑浮点计算。 fp16：16 位半精度浮点计算。 fp16_fast：16 位半精度的快速优化版本。
quantization	模型的量化配置。如果需要 FP8 激活量化值，请选择xxx_fast模式。
load_device	模型存储位置： main_device：在 GPU 中存储。 offload_device：在 CPU 中存储。
attention_mode	Attention 算子类型。本场景建议使用sageattn，即 Sage Attention。 Sage Attention 通过 8 位量化技术大幅降低 VRAM 占用，同时保持性能，适合显存资源受限的设备。
rms_norm_function	RMS 归一化（RMSNorm）的实现方式： default：使用模型自身原生定义的 RMSNorm 实现。 pytorch：使用 PyTorch 框架自带的标准 RMSNorm 实现。

OpenVefuser WanVideo Sampler

说明

与原生节点相比，仅改动了Offload 的逻辑，其余输入保持不变。

参数	说明
steps	采样步数，即去噪的迭代次数。步数越多生成质量通常越高，但速度会越慢。
cfg	提示词引导强度，数值越高，提示词对生成结果的影响越强，但过高可能导致画面失真。
shift	扩展节点参数，控制采样过程中的偏移量。
seed	种子值，去噪过程中生成的随机数。seed值和其它参数配置一致时，生成的图像可复现，不同的seed值则生成不同的随机效果。
生成后控制	产生seed之后，控制seed的后续行为，取值： fixed：固定种子。 increment：每次增加 1。 decrement：每次减少 1。 randomize：种子随机选择，避免重复结果。
force_offload	采样后是否强制将模型组件临时转移到 CPU 等设备： true：是。 false：否（用于缓解显存压力）。
scheduler	噪声调度策略，控制采样过程中噪声的变化节奏。该参数影响生成质量与效率。
riflex_freq_index	RIFLEX 模块所作用的频率通道索引。值为 0 时禁用，默认值为 6，表示允许在不循环的情况下生成新帧。
denoise_strength	对初始噪声的去噪程度。1.0 表示完全去噪，数值越低画面随机性越强取值范围为 0~1.0 ，1.0 表示完全去噪，基于初始潜变量生成全新内容，小于 1 则表示是在原有内容上修改。
batched_cfg	是否以批量方式计算 CFG（Classifier-Free Guidance，无分类器引导）： true：启用批量 CFG 计算，将多个样本的 CFG 计算合并处理，减少重复运算，大幅提升批量生成的速度。 false：关闭批量 CFG 计算，按常规逐样本计算 CFG。
rope_function	旋转位置编码（RoPE）实现逻辑： default：使用模型自身原生定义的 RoPE 实现逻辑。 comfy：使用 ComfyUI 原生的 RoPE 通用实现。 comfy_chunked：使用 ComfyUI 的分块式 RoPE 实现。
start_step	采样的起始步骤。0 表示全量采样，否则从设置的步骤开始采样。
end_step	采样的结束步骤。-1 表示全量采样，否则仅采样到设置的步骤。
add_noise_to_samples	样本加噪开关，是否在采样前向视频样本中添加初始噪声： true：添加噪声。 false：不添加噪声。

准备工作

使用 ComfyUI 应用前，您需要准备 ComfyUI 依赖的各云产品资源、环境等。

云产品	是否必备	准备工作	相关链接
GPU 云服务器	是	提供 GPU 计算资源。本文中的视频生成场景，推荐使用如下 GPU 云服务器实例规格： ecs.hpcpni3ln.45xlarge：本场景推荐使用 ecs.pni3l.22xlarge：性价比优先说明【邀测】上述 GPU 云服务器实例规格目前处于邀测阶段，请联系您的火山引擎客户经理，获取规格邀测权限。	GPU 云服务器实例规格
TOS	推荐	实现 ComfyUI 应用持久化存储。说明 TOS 存储目前仅支持通过 FSX 方式挂载到容器，若使用存量 VKE 异构计算托管集群，请确保集群中已安装 csi-fsx、fsx-service 组件。新建的异构计算托管集群自动安装该组件。	TOS 存储类型
IAM	使用 TOS 时必备	获取 IAM 的 API 访问秘钥（AK&SK），实现通过 VKE 访问 TOS。	API 访问秘钥
VKE	是	提供部署 ComfyUI 应用的异构计算托管集群资源。	VKE 异构计算托管集群
APIG	可选	通过 APIG 实例实现七层路由。会话保持场景必备资源。注意建议使用标准网关 v4.0.0 及以上版本的 API 网关实例。可在 API 网关控制台目标实例的实例概览页面查看。若 API 网关实例的版本不满足要求，请联系您的火山引擎客户经理，获取技术支持，升级实例版本。	APIG 实例
网际快车	推荐	插件安装需要拉取 Github，HuggingFace 等内容，依赖网际快车服务。注意网际快车需要关联部署 ComfyUI 应用的集群所属私有网络。【邀测】网际快车产品目前处于邀测阶段，请联系您的火山引擎客户经理，获取产品邀测权限。	无

步骤一：部署 ComfyUI 应用

通过 ServingKit 提供的 ComfyUI 应用模板，部署您的 ComfyUI 应用。下表展示本示例中的部分特定配置说明，其余参数配置和详细操作，请参见部署 ComfyUI 应用。

参数	说明
选择框架及编排
部署方式	选择预置模板部署。
模型	选择 Wan2.1 和 Infinite Talk。
应用配置
ComfyUI 配置	保存位置建议选择永久存储，其余参数自定义配置。 ServingKit 会在对应路径下创建 ComfyUI 常用的目录，包括custom_nodes、input、output、models、user目录。
实例配置
实例规格	GPU 卡数设置为 8，其余参数自定义配置。
更多配置	环境变量：因安装插件节点涉及拉取 GitHub相关内容，建议通过环境变量，配置网际快车，实现网络提速，避免安装失败。代理模式网际快车，配置如下环境变量：环境变量1 Key：http_proxy、Value：http://{加速IP}:3128 环境变量2 Key：https_proxy、Value：http://{加速IP}:3128 环境变量3 Key：no_proxy、Value：mirrors.ivolces.com 注意请确保网际快车已关联部署 ComfyUI 应用的集群所属私有网络。网际快车分为代理模式和路由模式，若您开启的是路由模式网际快车，则无需配置环境变量。其余参数保持默认值。
服务配置
API 网关	开启 API 网关配置，并关联已提前准备的 API 网关实例。注意请确保所选的 API 网关实例与部署应用的集群同属一个私有网络。