容器服务
邀测功能/资源 | 涉及产品 | 说明 |
邀测功能/资源 | 涉及产品 | 说明 |
高性能计算 GPU 型规格 | GPU 云服务器实例规格,为 AI 推理应用提供计算能力。 目前在 GPU 云服务器侧,部分高性能计算 GPU 型规格和 GPU 计算型规格处于邀测阶段。例如在 ComfyUI 场景中推荐使用的如下规格,需要您提交规格邀测申请:
| |
GPU 计算型规格 | | |
节点挂载本地盘能力 | 容器服务 | 允许在 VKE 集群中配置本地盘挂载。 |
参数 | 说明 |
参数 | 说明 |
选择框架及编排 | |
已选模板 | 显示您已选的模板名称,以及模型对应的模型引擎和并行策略。您可以按需切换模板、模型引擎。 |
部署方式 | 本模块以选择 预置模板部署 为例。预置模板是 ServingKit 提供的基于不同模型或不同框架的最佳实践,帮助您快速启动一套性价比高,效果好的推理服务。 |
镜像 | ServingKit 提供 ComfyUI 和 Openvefuser(加速引擎)的镜像,无需您配置。 |
模型 | ServingKit 预置的 ComfyUI 模型,按需勾选所需的模型:
说明
|
应用配置 | |
应用名称 | 根据界面提示的命名要求,设置您的 ComfyUI 应用名称。您也可以直接使用系统自动生成的应用名称。 |
ComfyUI 配置 |
|
实例配置 | |
实例规格 | 实例指的是启动当前推理模型的载体。 您可以按需修改启动 ComfyUI 应用的最优 实例数、GPU 卡数,也可以自定义配置 CPU 和 内存 规格。 |
RDMA 配置 | 支持开启 RDMA 网络,实现实例间通过 RDMA 高速网络互联,提高通信效率。 开启 RDMA 网络后您可以单击 图标,自行填写 RDMA 卡数,也可以不填写,系统会根据您的 资源配置,自动配置 RDMA 卡数。建议保持系统自动计算。 |
资源配置 | 选择部署模型应用的 VKE 异构计算托管集群资源,请根据实际需求准备部署资源:
注意
|
启动命令 | 预置模板中已预置了启动脚本和端口,仅供查看,不支持自定义。 |
更多配置 |
|
服务配置 | |
API 网关 | 如需通过 API 网关配置路由,处理模型的外部访问流量,则 开启 API 网关,并选择目标 API 网关实例。
说明 选择已有 API 网关暴露集群中的模型服务时,请关注如下参数或功能配置:
|
智能路由 | |
网络加速 | 若您希望在 ComfyUI 页面通过 comfyui-manager 直接安装插件节点,请联系客户经理开通火山引擎网际快车服务。 说明
|
更多配置 | |
更新策略 | ComfyUI 默认开启更新策略,遵循 InPlaceUpdate 策略,即原地更新。通过 InPlaceUpdate 策略可直接更新现有的 RoleSet,且在此过程中不消耗额外的 GPU 资源。 |
模型下载 | |
参数 | 说明 |
参数 | 说明 |
选择框架及编排 | |
已选模板 | 显示您已选的模板名称,以及模型对应的模型引擎和并行策略。您可以按需切换模板、模型引擎。 |
部署方式 | 本模块以选择 自定义部署 为例。ServingKit 支持通过自定义镜像、自定义模型配置等部署 ComfyUI 应用。 |
镜像 | 选择 ComfyUI 应用的镜像。支持选择 ServingKit 预置 的镜像,也可以 自定义 填写第三方镜像地址或镜像仓库(CR)镜像地址。 |
模型配置 | 设置 ComfyUI 的模型配置:
说明
|
应用配置 | |
应用名称 | 根据界面提示的命名要求,设置您的 ComfyUI 应用名称。您也可以直接使用系统自动生成的应用名称。 |
挂载 | ComfyUI 应用的挂载配置:
说明
|
实例配置 | |
实例规格 | 实例指的是启动当前推理模型的载体。 设置启动 ComfyUI 应用的最优 实例数、GPU 卡数,按需配置 CPU 和 内存 规格。 |
RDMA 配置 | 支持 开启 RDMA 网络,实现实例间通过 RDMA 高速网络互联,提高通信效率。 开启 RDMA 网络后您可以单击 图标,自行填写 RDMA 卡数,也可以不填写,系统会根据您的 资源配置,自动配置 RDMA 卡数。建议保持系统自动计算。 |
资源配置 | 选择部署模型应用的 VKE 异构计算托管集群资源,请根据控制台界面显示的 部署清单 内容,准备部署资源:
注意
|
启动命令 | 设置 ComfyUI 应用的启动脚本和端口。默认无需修改,若您有特殊端口需求或启动时安装额外的节点配置等,可根据实际情况修改。 |
更多配置 |
|
资源 | 选择部署模型应用的 VKE 异构计算托管集群资源,请根据控制台界面显示的 部署清单 内容,准备部署资源:
|
服务配置 | |
API 网关 | 如需通过 API 网关配置路由,处理模型的外部访问流量,则 开启 API 网关,并选择目标 API 网关实例。
说明 选择已有 API 网关暴露集群中的模型服务时,请关注如下参数或功能配置:
|
智能路由 | |
网络加速 | 若您希望在 ComfyUI 页面通过 comfyui-manager 直接安装插件节点,请联系客户经理开通火山引擎网际快车服务。 说明
|
更多配置 | |
更新策略 | ComfyUI 默认开启更新策略,遵循 InPlaceUpdate 策略,即原地更新。通过 InPlaceUpdate 策略可直接更新现有的 RoleSet,且在此过程中不消耗额外的 GPU 资源。 |
三方依赖 | 若您custom_node插件依赖 Python 环境,可通过 三方依赖 进行配置,指定您所需要的三方库列表,支持多个 PIP 包配置。 |
模型下载 | |