本文为您介绍基于火山方舟平台的高代码应用、以及函数服务 veFaaS 的业务代码部署能力,快速部署一个 AI Chat 应用。
火山方舟平台的高代码应用面向具有专业开发能力的企业开发者客户,提供基于 SDK 的高代码应用编排方式,能够提升开发效率。高代码应用支持基于函数服务 veFaaS 在线部署,部署成功后可在方舟智能体中心进行效果体验。
说明
如果在方舟平台上创建智能体的流程无法满足您的要求,您也可以选择使用高代码应用 SDK 在本地或其他环境进行开发。相关说明,请参见 应用(bot) API。 - IAM 用户需确保已被赋予SeverlessApplicationRole角色。如果没有授权,请向管理员申请授予子账号权限iam:CreateServiceLinkedRole以便授权该 IAM 角色。
- 高代码应用函数支持方舟触发器和 API 网关触发器,方舟触发器系统自动创建,API 网关触发器则需要提前创建 API 网关实例。如需创建 API 网关实例,请参见 创建实例。
- 高代码应用部署后,往往需要根据实际智能业务场景更新代码,持续进行效果和性能优化。至少需要将pipeline.yaml中预设的 endpoint_id 替换为真实模型的推理接入点(endpoint_id),方可正常调用模型推理服务。具体操作请参见 创建接入点。
部署高代码应用 AI Chat 应用
- 在左侧导航栏选择 应用实验室 > 我的应用,然后单击 创建应用。
-
- 高代码应用配置完成后,单击页面右上角的 发布,即可保存到应用实验室。
- 如果单击 创建新函数,则直接开始创建 veFaaS 函数。
高代码应用支持基于函数服务 veFaaS 在线部署,即通过创建 veFaaS 应用函数来部署高代码应用。
- 在方舟平台的 应用实验室 页面查找智能体,然后单击 编辑。
- 在 应用函数 后面,单击 创建新函数,按需选择 应用原型,然后单击对话框上的 确认。
- 本文以选择 示例-QuickStart默认 应用原型为例。
- 在创建函数应用的 基础信息 区域,配置 应用名称,确认 IAM 角色和关联云服务是否开通。
- 函数应用配置完成后,单击确定,开始部署高代码应用。
- 部署过程可能持续数分钟,请耐心等候。您可以在部署页面查看部署日志,若部署失败可根据日志信息定位原因;部署完成后,显示为部署成功。
- 在页面右上角可以跳转到函数代码页编辑代码,或返回体验智能体。
高代码应用部署后,往往需要根据实际智能业务场景更新代码,按需调整各 endpoint、插件参数,持续进行效果和性能优化。
- 在方舟平台的智能体中心页面查找智能体,然后单击编辑。
- 系统将自动跳转到 veFaaS 智能体函数的代码页面。您也可以直接在 veFaaS 控制台进入目标函数详情页面。
说明
本文暂不考虑使用意图模型、联网搜索、Query 改写等智能模型来进行效果和性能优化,直接选择用一个方舟大语言模型来实现简单的聊天对话,只需要替换掉智能体函数预设的 endpoint_id,就能正常调用推理服务。
- 在函数代码页签下的资源管理器区域,单击pipeline.yaml文件。
- 修改 yaml 文件中的 endpoint_id 参数取值,配置为方舟大语言模型的接入点 ID,然后单击保存。
- 需要提前为方舟大语言模型创建推理接入点,本文选用的模型为Dopubao-pro-128k。如何创建推理接入点,请参见创建接入点。
-
- 智能体业务代码更新完成后,单击右上角的发布按钮,然后重新发布函数使配置生效。
高代码应用业务代码修改完成并成功发布后,您可以在方舟智能体中心体验部署的 AI Chat 应用。
- 在方舟平台的智能体中心页面查找智能体,然后单击立即体验。
-
-
高代码应用部署后,往往需要根据实际智能业务场景更新代码,按需调整各 endpoint、插件参数,持续进行效果和性能优化。
至少需要将pipeline.yaml中预设的 endpoint_id 替换为真实模型的推理接入点(endpoint_id),方可正常调用模型推理服务。
支持以下几种编辑代码的方式:
- 在线编辑:直接修改函数业务代码。相关文档,请参见在线编辑。
- 下载代码包编辑:下载智能体业务代码包,然后在本地 IDE 修改后再上传代码包。相关文档,请参见上传代码包。
完成智能体函数业务代码修改、上传、保存后,可根据需求进行全量发布或灰度发布,并配置函数版本。建议使用灰度发布,防止变更失误影响线上服务。
在高代码应用函数中,支持方舟触发器和 API 网关服务触发器,两种触发器的调用方式和鉴权方式存在不同:
- 方舟触发器:调用时通过方舟统一域名+BotID,使用 API key 鉴权。如何获取方舟 API Key,请参见获取API Key。
- API 网关触发器:API 网关触发器会提供访问域名,通过 JWT Token 鉴权。如何获取有效期 7 天的 JWT Token,请参见JWT Token 鉴权。
部署高代码应用函数应用时,默认打开函数的日志功能,用户可以选择将函数服务关联到 Trace 日志,以采集记录用户的请求 input 和 output 及各阶段的耗时信息。
用户可以通过日志记录查看原生打印的 debug 信息;通过 Trace 结构化分析各部分调用时间和进行错误追踪。
说明
veFaaS 函数打开日志功能后,默认的日志项目为tls-vefaas,日志主题为tls-vefaas-logstore。
- 在左侧导航栏选择 Trace 服务,然后单击创建 Trace 实例。
- 设置实例名称,关联**tls-vefaas日志项目,然后单击创建**。
-
- 获取日志服务私网访问地址和tls-vefaas-logstore日志主题的 ID。
-
- 筛选新建的 Trace 实例,然后单击操作列中的索引配置。
-
- 在 Attributes 字段下,配置二级索引request_id、client_request_id、input、 output,然后单击确定。
-
- 在函数详情页面的函数配置页签下,找到环境变量区域,然后单击编辑按钮。
-
- 函数的环境变量修改后,单击页面右上角的发布,重新发布函数使配置生效。