文档中心

上下文搜索

个性化搜推

管理模型服务

在个性化搜推场景中，当您完成模型开发后，可使用已开发的模型创建模型服务。本文介绍如何管理模型服务。

前提条件

已创建个性化搜推场景。具体操作，请参见创建场景。

已导入数据。具体操作，请参见导入数据。

已完成模型开发且开发任务已成功运行。具体操作，请参见模型开发。

已创建用于调用模型服务的 API Key。具体操作，请参见创建 API Key。

创建模型服务

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后单击创建模型服务。

在创建模型服务面板中，配置以下参数，然后单击确定。

参数	说明
开发任务	在下拉列表中选择已完成的开发任务。
训练记录	在下拉列表中选择已完成的训练记录。
服务名称	设置模型服务的名称。命名规则如下：不能以数字或中划线（-）开头。长度为 1~128 个字符。只能包含中文、字母、数字、下划线（_）和中划线（-）。
标签（可选）	为模型服务添加标签，可更方便地识别和管理模型服务。您可以多次单击添加标签添加多个标签，最多可添加 20 个标签。
描述（可选）	设置模型服务的描述。长度不超过 50 个字符。
场景资源
资源类型	当前仅支持 CPU。
规格	在下拉列表中选择场景资源的规格。
数量	设置场景资源的数量。可选择的数量范围：1~200。
推理资源
资源类型	当前仅支持 GPU。
规格	在下拉列表中选择推理资源的规格。
数量	设置推理资源的数量。可选择的数量受限于所选规格的剩余库存。
接入点限流	开启后可设置单接入点访问限流。
RPM	开启接入点限流需要配置 RPM（Requests Per Minute），即每分钟处理请求数。
自定义参数（可选）	支持为推理服务配置自定义参数。单击添加自定义参数，然后配置参数名称和取值。
召回融合比例	根据需要开启召回融合模型并指定召回条数。说明此参数仅当模型训练配置中指定了多个召回模型算法时可见。详细信息，请参见模型开发。

启动模型服务

创建模型服务后，需启动后才可被调用。

说明

仅支持启动处于初始化或已停止状态的模型服务。

单个个性化搜推场景中仅支持启动一个模型服务。

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在运行状态区域单击启动。

在弹出的对话框中，单击确定。

调用模型服务

开启模型服务访问

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在访问信息区域根据需要开启私网访问或公网访问。

获取调用示例

在页面右上角单击 API 接入。

在 API 调用面板的选择 API Key 区域，单击快速填充 API Key。

在弹出的窗口中，单击目标 API Key 操作列中的选择并填充。

复制选择 API Key 区域中的代码，将 API Key 设置为环境变量。

复制选择调用示例区域中的代码，调用模型服务 API。

编辑模型服务

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签。

在场景资源信息、推理资源信息或自定义参数区域单击编辑。

在弹出的对话框中，根据需要修改各参数，然后单击保存。模型服务参数请参见创建模型服务。

灰度发布模型服务

当完成模型开发需要发布时，个性化搜推场景支持灰度发布，可按流量比例或指定账号进行验证，实现风险控制与快速回滚。

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在右上角单击发布。

在灰度发布模型服务面板中，配置以下参数，然后单击开始灰度。

参数	说明
开发任务	在下拉列表中选择待发布模型服务对应的开发任务。
训练记录	在下拉列表中选择要待发布模型服务对应的训练记录。
灰度策略	选择流量灰度或用户灰度。流量灰度：按照流量比例进行灰度升级。用户灰度：针对指定用户 ID 进行灰度升级。
调整灰度流量	设置各阶段灰度流量的比例。您可以单击添加阶段实现多阶段灰度升级。此参数仅当灰度策略设置为流量灰度时可见。注意添加的新阶段灰度流量比例需高于前一阶段。最后一个阶段的灰度流量比例不得超过 99%。
设置灰度用户	设置进行灰度升级的用户 ID。多个用户 ID 用英文逗号或回车键隔开。

注意

非首次发布时，灰度发布模型服务对话框中展示当前模型评测指标与线上模型指标的对比。当存在核心指标低于线上模型的指标时，系统将限制发布上线，避免当前线上模型效果回退。

灰度升级模型服务

当模型升级时，模型服务支持灰度升级，可按流量比例或指定账号进行验证，实现风险控制与快速回滚。

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在关联模型区域单击灰度升级。

在灰度升级面板中，配置以下参数，然后单击开始灰度。

参数	说明
训练记录	在下拉列表中选择要升级目标模型对应的训练记录。
灰度策略	选择流量灰度或用户灰度。流量灰度：按照流量比例进行灰度升级。用户灰度：针对指定用户 ID 进行灰度升级。
调整灰度流量	设置各阶段灰度流量的比例。您可以单击添加阶段实现多阶段灰度升级。此参数仅当灰度策略设置为流量灰度时可见。注意添加的新阶段灰度流量比例需高于前一阶段。最后一个阶段的灰度流量比例不得超过 99%。
设置灰度用户	设置进行灰度升级的用户 ID。多个用户 ID 用英文逗号或回车键隔开。

注意

灰度升级对话框中展示当前模型评测指标与线上模型指标的对比。当存在核心指标低于线上模型的指标时，系统将限制发布上线，避免当前线上模型效果回退。

后续操作

灰度升级开始后，您可以在关联模型区域单击灰度升级详情历史，然后在灰度升级历史面板中查看灰度升级进度，并根据升级情况选择紧急回退或进行下一阶段灰度升级。

重启模型服务

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在运行状态区域单击重启。

在弹出的对话框中，单击确定。

删除模型服务

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在服务基础信息区域单击删除。

在弹出的对话框中，单击确定。

其他配置

开启缓存加速

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在服务基础信息区域单击缓存加速右侧的开关。

在缓存加速对话框中，配置以下参数，然后单击确定。

参数	说明
缓存加速	打开缓存加速开关。
Redis 实例	在下拉列表中选择缓存加速使用的 Redis 实例。说明如需新建 Redis 实例，请参见创建实例。关于 Redis 实例的更多信息，请参见什么是缓存数据库 Redis 版。

开启接入点限流

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择我的场景，然后单击目标个性化搜推场景。

在目标个性化搜推场景页面右上角单击图标，选择模型服务页签，然后在服务基础信息区域单击接入点限流右侧的开关。

在接入点限流对话框中，配置以下参数，然后单击确定。

参数
说明
缓存加速
打开接入点限流开关。
RPM
设置每分钟处理请求数的上限。

最近更新时间：2026.09.09 17:19:20

这个页面对您有帮助吗？

有用

无用