文档中心

上下文搜索

推理服务管理

创建自定义推理服务

创建自定义推理服务

在 ContextSearch 中，系统提供预置推理服务，同时也支持创建自定义推理服务。创建自定义推理服务时，需要与目标模型进行关联，并根据业务需求配置网络、资源、以及自定义参数等内容。本文介绍如何创建自定义推理服务。

前提条件

明确推理服务需要关联的模型，请提前获取目标模型的名称。

如果关联自定义模型，需要提前创建自定义模型，请参见创建自定义模型。

如果关联公共模型，需要提前获取公共模型的名称、维度等信息，请参见查看公共模型。

操作步骤

登录 ContextSearch 控制台。

在顶部导航栏，选择目标项目和地域。

在左侧导航栏选择模型与推理 > 推理服务，选择 ContextSearch 或方舟页签，然后单击创建推理服务或创建方舟推理服务。

根据所选推理服务类型，执行相应创建步骤。

创建推理服务

创建方舟推理服务

在创建推理服务面板，配置以下参数，然后单击确定。

参数	说明
所属项目	推理服务所属项目。创建推理服务时不可切换，如需切换，请关闭面板后从顶部导航栏修改。
服务名称	自定义设置推理服务的名称。首字符仅支持字母或下划线（_）。可包含字母、数字、特殊字符仅支持英文句号（.）、下划线（_）、中划线（-）、斜杠（/），长度为 1~128 个字符。最多只能包含一个斜杠（/）字符。
描述（可选）	设置推理服务的描述，最大长度为 256 个字符。
标签（可选）	为推理服务添加标签，可更方便地识别和管理推理服务。您可以多次单击添加一行添加多个标签。
选择模型	从下拉列表框选择推理服务需要关联的公共模型或自定义模型，支持根据类型筛选或模型名称关键字进行模糊搜索。
购买方式	选择独占资源或按 Token。部分模型不支持配置此参数。
资源类型	当购买方式选择独占资源时可见。选择 CPU 或 GPU。
规格	当购买方式选择独占资源时可见。从下拉列表中选择 CPU 或 GPU 规格。
数量	当购买方式选择独占资源时可见。设置推理服务的节点数量，范围为 1~512。
私有网络	当购买方式选择独占资源时可见。选择推理服务所在的私有网络。如需新建私有网络，请参见创建私有网络。
子网	当购买方式选择独占资源时可见。系统会自动根据您选择的私有网络筛选出可用的子网。如需新建子网，请参见创建子网。
模型限流	当购买方式选择按 Token 时可见。当前账号下访问所选模型的限流。
接入点限流	开启后可设置单接入点访问限流。不开启则默认按照模型限流。 RPM：开启了接入点限流需要配置 RPM（Requests Per Minute），即每分钟处理请求数。 TPM：当选择火山方舟模型且购买方式选择按 Token 时可见。开启了接入点限流需要配置 TPM（Tokens Per Minute），即每分钟处理 token 数。
自定义参数（可选）	支持为推理服务配置自定义参数。单击添加自定义参数，然后配置参数名称和取值。

最近更新时间：2026.09.01 16:21:04

这个页面对您有帮助吗？

有用

有用

无用

无用