文档中心

容器服务

推理套件

AI 应用管理与使用

AI 应用管理与使用

通过 AI 应用模板成功创建 AI 应用后，可查看、编辑、使用 AI 应用。本文主要介绍通过 AI 应用模板创建的 AI 应用相关管理操作。

管理 AI 应用

登录容器服务控制台。

在左侧导航栏，选择推理套件 > AI 应用列表。

在 AI 应用列表页面找到目标 AI 应用，鼠标悬浮到应用模块，单击...符号，管理当前 AI 应用。

操作	说明
更新	更新当前 AI 应用配置。参数配置说明，请参见本文上方操作步骤中的说明。
复制	复制当前 AI 应用的所有配置，快速创建新的 AI 应用。
升级	AI 应用模板有可升级版本时，建议您升级应用，以免影响相关功能的正常使用。
扩缩容	按需设置当前应用的期望副本数，即实例数。说明该副本数是您期望的副本数量，而不是新增的副本数量。例如：扩容前应用副本数为 3，您配置副本数为 5 时，系统会自动扩容 2 个副本，满足 5 个副本的期望。而不是新增 5 个副本。
删除	根据系统提示，二次确认待删除应用信息及关联资源后，删除 AI 应用。注意删除应用后不可恢复，请谨慎操作。此操作会联动删除应用关联的弹性伸缩规则。此操作不直接删除应用相关的 VKE 集群及节点池、API 网关实例、托管 Prometheus（VMP）、弹性极速缓存（EIC）实例等资源。如需删除，请根据系统弹窗中的指引，进入对应产品控制台手动操作。

使用 AI 应用

登录容器服务控制台。

在左侧导航栏，选择推理套件 > AI 应用列表。

在 AI 应用列表页面找到目标 AI 应用，鼠标悬浮到应用模块，单击 → 符号，进入应用详情页面查看、编辑、使用 AI 应用。

服务概览

应用配置

弹性伸缩

监控观测

模块	说明
服务配置	若已关联 API 网关实例，则显示相关服务配置信息。重点配置说明如下：编辑：可更新已关联的 API 网关实例，或者不开启 API 网关。服务域名：请求访问模型应用时的后端服务访问域名。访问该域名即可访问您创建的 AI 应用。
服务规格	AI 应用的实例信息。单击实例对应操作列下的各功能按钮，即可查看或管理实例对应 Pod 的信息。Pod 相关操作说明，请参见查看容器组信息。 PD 分离架构和 PD 共置架构的应用所显示的实例不同。详细说明，请参见 PD 分离架构。
概要	显示 AI 应用的模型系列、框架及编排、部署环境等基本信息。

定时伸缩规则

配置 AI 应用的定时扩缩容策略，配合弹性预约扩容方案，可以在指定时间执行指定伸缩规则，实现自动扩容或者缩容计算资源，满足业务需求的同时能够控制成本。

注意

定时伸缩规则依赖应用关联集群中的 cronhpa 组件，请确保集群中已安装该组件且组件版本必须大于等于 v1.0.16。组件相关说明，请参见 cronhpa。

【邀测·申请试用】：cronhpa 组件的 v1.0.16 版本，目前处于邀测阶段，如需使用，请提交邀测申请。

添加定时伸缩规则

单击添加定时伸缩规则按钮、在创建定时伸缩规则对话框中配置弹性伸缩参数。

参数	说明
名称	根据界面提示，自定义设置定时伸缩规则名称。
伸缩对象	配置需要伸缩的对象。在下拉菜单中选择目标伸缩对象。说明每个伸缩对象，仅支持配置一个定时伸缩规则。
策略配置	定时重复：可选择按小时、天、周、月的某一时间点定时伸缩；也可以输入 Cron 语句，配置定时伸缩。Cron 语句配置说明，请参见 Cron 语句。拆分比例：当到达设定的计划时间时，伸缩对象动态伸缩至该值。操作：可删除已填写的定时策略。说明创建定时伸缩时，至少需要有一个策略，因此只有一个策略时删除按钮置灰，不允许删除。添加：可新增一个策略。请确保多个策略之间不冲突。

管理定时伸缩规则

成功创建规则后，在规则操作列，单击对应按钮管理规则。

操作	说明
更新	更新当前已有定时伸缩规则，使规则更符合业务需求。修改后，定时伸缩规则按照新配置生效。
删除	删除当前已有定时伸缩规则。

指标伸缩规则

配置 AI 应用的指标扩缩容策略, 实现根据实际监测指标弹性扩充或缩减计算资源。

添加弹性伸缩规则

单击添加弹性伸缩规则按钮、在创建弹性伸缩规则对话框中配置弹性伸缩参数。

参数	说明
名称	根据界面提示，自定义设置指标伸缩规则名称。
伸缩对象	配置需要伸缩的对象。在下拉菜单中选择目标伸缩对象。说明每个伸缩对象，仅支持配置一个指标伸缩规则。
实例数范围	AI 应用弹性伸缩的最小实例数和最大实例数。策略触发时，伸缩对象将在此范围内伸缩。
监测指标	AI 应用弹性伸缩的监测指标，系统基于此指标决定是否需要进行伸缩。ServingKit 中支持的指标如下： GPU 使用率：按 AI 应用所有实例 GPU 平均使用率，作为监测指标，当 GPU 使用率达到该值，则进行伸缩。 GPU 显存使用率：按 AI 应用所有实例共享 GPU 显存使用量 / 所有实例共享 GPU 显存请求（Request）量的百分比，作为监测指标，当 GPU 显存使用率达到该值，则进行伸缩。 token 输出耗时（TTFT）：按 AI 应用所有实例从接收推理请求至返回首个 Token 的平均耗时，作为监测指标，当首个 Token 输出耗时（TTFT）达到该值，则进行伸缩。平均输出 token 耗时（TPOT）：按 AI 应用所有实例在生成首个 Token 后、输出后续每个 Token 的平均耗时，作为监测指标，当平均输出 Token 耗时（TPOT）达到该值，则进行伸缩。说明除上述预置指标之外，ServingKit 支持使用自定义指标进行 AI 应用弹性伸缩监测。详细操作，请参见使用自定义指标实现弹性伸缩。
扩容观察期	扩容策略或缩容策略的静默时间，系统完成扩缩容后，在静默时间内，不会再次执行扩缩容策略，避免实例数频繁变更造成系统震荡。
缩容观察期	扩容策略或缩容策略的静默时间，系统完成扩缩容后，在静默时间内，不会再次执行扩缩容策略，避免实例数频繁变更造成系统震荡。

管理弹性伸缩规则

成功创建规则后，在规则操作列，单击对应按钮管理规则。

操作	说明
伸缩记录	展示当前规则最近 5 条伸缩记录。您可以根据伸缩记录分析 AI 应用的资源使用情况，按需调整指标伸缩规则。
更新	更新当前已有指标伸缩规则，使规则更符合业务需求。修改后，指标伸缩规则按照新配置生效。
删除	删除当前已有指标伸缩规则。

最近更新时间：2026.06.03 17:24:36

这个页面对您有帮助吗？

有用

有用

无用

无用