看板名称 | 说明 |
模型调用总次数 | 调用指定模型的总次数。 |
模型调用平均耗时 | 调用指定模型的平均耗时。 |
模型调用错误次数 | 调用指定模型失败的次数。 |
Token 使用总量 | 指定模型 Token 消耗总量(input + output)。 |
模型调用次数 | 调用指定模型的次数趋势。 |
模型调用平均耗时 | 调用指定模型的平均耗时趋势。 |
模型调用错误 | 调用指定模型失败的次数趋势。 |
Token 使用量 | 指定模型 Token 消耗总量(input + output)趋势。 |
模型调用 Runtime 排行(TOP5) | 调用指定模型次数排名前 5 的运行时列表。 |
模型调用平均耗时 Runtime 排行(TOP5) | 调用指定模型平均耗时排名前 5 的运行时列表。 |
模型调用错误 Runtime 排行(TOP5) | 调用指定模型错误次数排名前 5 的运行时列表。 |
Token 使用 Runtime 排行(TOP5) | 调用指定模型消耗 Token 排名前 5 的运行时列表。 |
模型请求耗时分位数 | 调用指定模型耗时分位数 P99/P90/P75/P50。 |
TTFT 分位数 | 调用指定模型返回首包数据的平均耗时分位数 P99/P90/P75/P50。 |
TPOT 分位数 | 调用模型在首个 Token 输出后,后续输出每个 Token 所需的时间分位数。 |