功能名称 | 功能描述 | 发布地域 | 相关文档 |
支持智能路由 | ServingKit 对接 APIG 的 AI 网关功能,支持使用 AI 网关进行推理流量分发,提升模型调用的可用性和可观测性。 |
| |
优化 GLM-5.2 部署方案 | 优化 GLM-5.2 模型的部署方案,支持通过应用模板一键部署 GLM-5.2 模型,减少用户配置操作,帮助用户快速部署相关模型应用。 |
| |
应用模板新增 DeepSeek-V4.1-Flash 开源模型 | 应用模板 模块新增 DeepSeek-V4.1-Flash 开源模型,提供一键部署模型能力。该模型相较前代模型,推理速度更快、吞吐更大、部署成本更低,在适合于高并发在线推理、长文档 / 长上下文处理、图文多模态问答与视觉 Agent 和成本敏感等场景。 |
| |
应用模板新增 Gemma、GLM、Kimi 相关模型 | 应用模板 模块新增 Gemma、GLM、Kimi 相关模型的模板,支持使用模板一键部署对应模型应用,帮助用户快速部署 AI 应用。 |
|
功能名称 | 功能描述 | 发布地域 | 相关文档 |
提供部署 MiniMax-M3 模型方案 | 提供通过 ServingKit LLM 通用模板部署 MiniMax-M3 模型的方案,该模型是一个面向长上下文(1 M)、多模态、代码与 Agent 场景的超大规模开放模型,ServingKit 满足用户多种模型部署需求。 |
| |
提供部署 GLM-5.2 模型方案 | 提供通过 ServingKit LLM 通用模板部署 GLM-5.2 模型的方案,GLM-5.2 是开源的 MoE 大模型 FP8 量化版本,支持 1M 上下文,更适合高性能部署与本地化推理场景。 |
| |
提供多种预置模板 | ServingKit 提供多种模型的预置模板,用户无需手动下载模型到节点上即可部署访问 AI 应用。 |
| |
支持自动创建 API 网关 | ServingKit 支持在部署 AI 应用时自动创建固定规格和配置的 API 网关实例,为通过 API 网关配置路由的 AI 应用简化操作步骤,提升用户整体部署速度。 |
|
功能名称 | 功能描述 | 发布地域 | 相关文档 |
提供部署 MiniMax-M2.7 模型方案 | 提供通过 ServingKit LLM 通用模板部署 MiniMax-M2.7 模型的方案,满足用户使用 MiniMax 系列新模型,构建复杂的智能体框架,完成高精度生产任务的需求。 |
| |
提供部署 Kimi K2.6 模型方案 | 提供通过 ServingKit LLM 通用模板部署 Kimi K2.6 模型的方案,相比上一代 Kimi K2.5 模型,K2.6 在复杂系统推理核心能力上实现了跨越式提升。ServingKit 满足用户使用 Kimi 系列新模型能力的需求。 |
|
功能名称 | 功能描述 | 发布地域 | 相关文档 |
指标伸缩支持自定义指标 | ServingKit 弹性伸缩能力中,指标伸缩新增了 token 输出耗时(TTFT)和 平均输出 token 耗时(TPOT)两个预置指标,除预置指标以外,支持用户使用自定义指标,满足复杂 AI 业务场景的监控和采集指标需求。 |
| |
支持 APMPlus 观测 | ServingKit 支持基于 APMPlus 的深度观测能力,为推理应用提供全链路性能监控服务。 |
| |
提供部署 DeepSeek-V4 预览版模型方案 | ServingKit 支持 DeepSeek-V4 预览版模型部署,覆盖 DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 两个版本,提供开箱即用的部署方案,支持百万级上下文长度推理体验。 |
| |
提供部署 GLM-5.1 模型方案 | 提供通过 ServingKit LLM 通用模板部署 GLM-5.1 模型的方案,满足用户使用 GLM 系列新模型能力的需求。 |
|
功能名称 | 功能描述 | 发布地域 | 相关文档 |
优化控制台配置 | 优化如下控制台操作配置,提升用户体验:
|
| |
支持定时伸缩 |
| ||
提供部署 Kimi-K2.5 模型方案 | 提供通过 ServingKit LLM 通用模板部署 Kimi-K2.5 模型的方案,支持企业快速跟进部署当前最新、热门推理模型。 |
|
功能名称 | 功能描述 | 发布地域 | 相关文档 |
LLM 场景和 AIGC 场景支持配置 RDMA 网络和特权级容器 | LLM 场景和 AIGC 场景支持配置 RDMA 网络,提升通信效率;支持配置特权级容器,允许部署在 Linux 系统上的容器控制网络堆栈或访问宿主机上的设备。 |
| |
提供部署 Qwen3.5 模型方案 | 提供通过 ServingKit LLM 通用模板部署 Qwen3.5 模型的方案,支持企业快速跟进部署当前最新、热门推理模型。 |
| |
提供部署 MiniMax-M2.5 模型方案 | 提供通过 ServingKit LLM 通用模板部署 MiniMax-M2.5 模型的方案,支持企业在 GPU 集群上高效运行主流推理模型,快速构建 AI 推理应用,实现从模型部署到推理应用全链路的提效。 |
| |
提供部署 GLM-5 模型方案 | 提供通过 ServingKit LLM 通用模板部署 GLM-5 模型的方案,支持企业在大规模 GPU 集群上高效、稳定、高性价比地运行主流推理模型。 |
|
功能名称 | 功能描述 | 发布地域 | 相关文档 |
ServingKit AI 应用支持华东2(上海)地域 | ServingKit AI 应用正式对外开放支持 华东2(上海)地域。 | 华东2(上海) |