文档中心

全栈可观测平台

通用 AI 应用监控

Playground

Playground 是 AI 应用监控提供的网页端交互式调试环境，用户可以在同一页面内完成构造多轮对话、调整 Prompt 和模拟工具调用等操作。结合 LLM Trace 分析还原异常调用现场，用户无需手动复制 Trace 数据或编写本地调试脚本，即可完成“问题复现 → Prompt 修改 → 重放验证 → 效果对比”的闭环调试流程，提升 Agent 问题定位与修复效率。本文介绍如何使用 Playground。

前提条件

AI 相关应用已经接入应用性能监控，并正常上报观测数据，更多详细说明参见：AI 场景监控概述。

适用场景

线上 Badcase 复盘：从 LLM Trace 分析还原异常调用现场，修改提示词或参数后重新运行，验证修复效果。

Prompt 调优：通过多窗口对比不同版本的提示词配置，评估输出稳定性与业务符合度。

模型选型：在相同输入条件下并排测试多个模型，对比输出质量，辅助选型决策。

参数调优：调整 temperature、max_tokens、top_p 等参数，找到适合当前场景的最优组合。

工具调用调试：配置 Tools 定义并构造输入消息，验证模型的工具选择、参数填充及结果处理是否符合预期。

结构化输出验证：配置 Schema 约束，验证模型输出是否稳定满足下游系统的格式要求。

Agent 工具编排离线验证：在正式接入服务前，通过配置 Tools 定义验证工具描述的清晰度、模型的工具选择逻辑及多轮工具调用编排是否符合预期。

使用流程

步骤一：接入大模型

在左侧导航栏选择 Playground。

单击模型连接管理 > 添加模型连接，配置以下参数。

说明

一个模型连接可关联多个模型，配置完成后在当前工作区内长期有效，无需重复配置。

参数	说明
连接名称	模型连接的名称。
类型	接口协议类型，当前支持 OpenAI 兼容。
接入地址	模型服务的 Base URL，例如 https://api.example.com。
API KEY	模型服务的鉴权密钥。
模型列表	该模型连接下可调用的 model 名称列表。您可以单击自动获取从接入地址拉取，也可以单击 + 添加手动录入。配置后可单击测试验证目标模型的连通性，也可单击全部测试批量校验。

步骤二：运行一次对话

在窗口顶部的模型下拉框中选择目标模型。

在 INPUT 区域选择消息角色并在输入框中填写内容。支持的消息角色如下：

消息角色	说明
User	用户提问，表达需求与具体问题。
Assistant	模型历史回复。
System	系统指令，设定模型的身份、任务和总体约束。
Developer	开发者指令，补充实现导向或更细的控制要求。
Tool	工具返回结果。

如需构造多轮对话，单击 + 添加消息，您也可以单击消息行右侧的操作按钮复制或删除单条消息。

单击 OUTPUT 窗口的运行，模型输出将以流式方式展示，并支持一键复制。

更多操作

多窗口对比

当需要对比不同模型、不同参数或不同提示词的效果差异时，可使用多窗口并排对比功能，将多个调试窗口置于同一视图中同步运行。

单击 + 增加对比窗口，可创建新的对比窗口，最多支持同时开启 3 个。

在不同窗口中分别配置模型、参数与调试选项。

单击页面右上角的全部运行，或分别单击各 OUTPUT 窗口的运行。

在各窗口 OUTPUT 区域对比输出差异。

配置模型参数

当需要调整模型的生成行为时，可在模型选择区右侧单击模型参数配置图标，配置以下模型参数。

说明

以下参数默认为关闭状态，关闭时模型按各参数的默认值运行；开启后，模型将按用户配置的值运行。

模型参数	说明
最大输出长度	限制模型输出的 Token 数。
生成随机性	控制输出的随机程度，取值越高结果越发散，取值越低结果越稳定收敛。
高级选项	以 JSON 形式传入模型支持的其他参数，例如 top_p、frequency_penalty 等。

配置调试选项

当需要模拟工具调用、约束模型输出格式或复用提示词变量时，可在页面中配置以下调试选项。

说明

同一次对话中，Tools 与 Schema 不能同时启用。

Tools 支持同时启用多个，Schema 每次仅支持启用一个。

Tools：在 Tools 选项卡中单击 + 创建 Tools 新增工具定义。已创建的工具可从未使用的 Tools 启用到本次对话使用中，供模型在本轮调试中调用。运行过程中如触发工具调用，工具执行结果会以 Tool 角色消息写入消息列表。

Schema：在 Schema 选项卡中单击 + 创建 Schema 新增结构定义，已创建的 Schema 可从未使用的 Schema 启用到本次对话使用中，模型运行时将按该约束生成输出。

Variables：当需要在提示词中复用可替换内容时，可使用变量。您可以在消息内容中使用占位符语法引用变量，变量格式例如 {{NAME}}。运行时，系统会将占位符替换为 Variables 中定义的变量值。

最近更新时间：2026.08.28 17:27:11

这个页面对您有帮助吗？

有用

无用