文档中心

容器服务

请输入

调度组件

aibrix

aibrix 组件是面向生成式人工智能（GenAI）推理基础架构的解决方案套件组件，包含 GPU 工作负载弹性伸缩能力。本文介绍如何在集群中部署和使用 aibrix 组件。

组件概述

AIBrix 是字节跳动开发并开源的基于 Kubernetes 的推理框架，旨在为构建可扩展的大模型推理 Infra 提供核心组件。VKE 提供 aibrix 组件，主要用于 AI 云原生推理套件（ServingKit）业务中。在 ServingKit 场景的异构计算托管集群中，aibrix 组件通过优化资源调度、自适应扩缩容、缓存感知路由以及异构计算管理等多项能力，为企业级大模型的大规模部署提供高效、低成本、可扩展的解决方案。

组件版本

关于组件的历史发布记录、各版本新增特性及优化说明等信息，详情请参见组件发布记录。

安装组件

登录容器服务控制台。

在左侧导航栏中，选择集群，单击目标集群名称，进入集群管理页面。

在左侧导航栏中，选择组件管理，并选择调度页签。

将鼠标移动到组件卡片上，单击部署，配置组件相关参数。

参数

描述

部署形态

仅已安装了 vci-virtual-kubelet 组件的集群显示该参数。

部署组件的节点类型，有如下两种方式：

云服务器部署：表示在集群中的云服务器节点（Node）上部署该组件。

弹性容器部署：表示在集群中的弹性容器实例（VCI），即虚拟节点（VirtualNode）上部署该组件。在弹性容器实例上部署组件，会产生费用，详细的费用说明，请参见弹性容器实例产品计费。

升级组件

组件会不定期发布新版本以提供新特性或修复已知问题。当组件卡片提示可升级时，建议您及时进行升级。为确保业务平稳过渡，升级操作请尽量安排在业务低峰期执行。关于升级的操作步骤和注意事项，请参见升级组件。

观测与告警

组件观测

aibrix 组件稳定性和性能直接影响组件功能正常使用和效果，建议您在集群中开启组件观测，帮助您实时掌握组件的健康度。详情请参见容器服务观测。

配置告警

容器服务基于托管 Prometheus（VMP）提供完善的集群监控告警能力，您可以直接使用系统预置模板快速创建告警规则组，也可以基于业务实际需求自定义基于 PromQL 语句的告警规则，或在导出预置模板 YAML 后调整规则并沉淀为自定义告警模板，统一复用于多个集群。详情请参见：

使用预置模板配置告警

使用自定义模板配置告警

自定义告警规则

预置告警模板由系统根据常见运维场景预置，适合首次建设告警体系或快速补充基础监控项，帮助您及时发现组件资源不足或运行异常。预置告警模板告警规则详情，请参见预置告警模板。