火山方舟
火山方舟
API参考
请输入
- 文档首页
火山方舟管控面 API管理模型评测获取评测任务结果
复制全文
下载 pdf获取评测任务结果
文档反馈
问问助手POST https://ark.cn-beijing.volcengineapi.com/?Action=GetEvaluationResult&Version=2024-01-01
获取指定模型评测结果的详细信息，包括评测集、评测指标、Token 消耗等。
鉴权
- Access Key 鉴权，请在 Access Key 管理 页面，获取 Access Key。本接口仅支持 Access Key 鉴权。
请求参数
Body 参数
Id string 必选 | 评测结果 ID
模型评测结果的 ID。可通过 ListEvaluationResults 接口查询。
响应参数
AdminEvaluationDatasetId string | 预置评测集 ID
平台预置评测集的 ID。当 DatasetType 为 AdminDataset 时返回。
CreateTime string | 创建时间
模型评测结果的创建时间，RFC 3339 格式。
DatasetDisplayName string | 评测集展示名称
评测集的展示名称（面向用户）。
DatasetName string | 评测集名称
评测集的内部名称（机读名）。
DatasetTosLocation object | 自定义数据集 TOS 地址
用户自定义评测集在 TOS 中的存储地址。当 DatasetType 为 UserDataset 时返回。
BucketName string | TOS 桶名称
DatasetTosLocation.BucketName
注意
当前火山方舟仅支持华北 2-北京地域（region: cn-beijing）的 TOS 桶。
ObjectKey string | TOS 对象路径
DatasetTosLocation.ObjectKey
TOS 对象路径（Object Key）。
DatasetType string | 评测集种类
评测集的类型：
- AdminDataset：平台预置评测集。
- UserDataset：用户自定义评测集。
EvaluationAbility string | 能力维度
评测集所覆盖的能力维度名称，例如 MMLU、CMMLU 等。
EvaluationJobId string | 评测任务 ID
评测结果对应的模型评测任务 ID。
HasCompleted boolean | 是否已完成
评测结果是否已完成统计。false 表示评测任务仍在运行或部分指标尚未产出。
Id string | 评测结果 ID
模型评测结果的 ID。
Method string | 评测算法
评测算法：
- Include：包含匹配。
- BuiltIn：平台内置算法。
- Match：精确匹配。
- InferenceOnly：仅推理、不打分。
Metrics object[] | 评测指标
评测得到的指标数组。每个元素包含指标名称与分数。
说明
指标 Name 取决于评测集与算法，例如准确率（Accuracy）、F1 分数、BLEU、ROUGE 等；Value 通常为 0-100 的分数字符串。
Name string | 指标名称
Metrics.Name
评测指标名称，例如 Accuracy、F1、BLEU 等。
Value string | 指标分数
Metrics.Value
评测指标的数值（字符串形式表示，便于承载不同精度）。
SamplesTosLocation object | 全部样本 TOS 地址
评测结果全量样本文件的 TOS 地址。
BucketName string | TOS 桶名称
SamplesTosLocation.BucketName
注意
当前火山方舟仅支持华北 2-北京地域（region: cn-beijing）的 TOS 桶。
ObjectKey string | TOS 对象路径
SamplesTosLocation.ObjectKey
TOS 对象路径（Object Key）。
SampleTosLocation object | 样本 TOS 地址（最多 50 条）
评测结果样本文件的 TOS 地址，最多包含 50 条样本。
BucketName string | TOS 桶名称
SampleTosLocation.BucketName
注意
当前火山方舟仅支持华北 2-北京地域（region: cn-beijing）的 TOS 桶。
ObjectKey string | TOS 对象路径
SampleTosLocation.ObjectKey
TOS 对象路径（Object Key）。
ScoringWeight integer | 分数比重
评测集在该任务综合评分中的分数权重。
TokenUsage object | Token 消耗量
本次评测总的 token 消耗量，分别统计 prompt 与 response。
TotalTokenCount integer | 总 token 数
TokenUsage.TotalTokenCount
评测总 token 数，等于 PromptTokenCount 与 ResponseTokenCount 之和。
PromptTokenCount integer | Prompt token 数
TokenUsage.PromptTokenCount
评测过程中所有 prompt 累积的 token 数。
ResponseTokenCount integer | Response token 数
TokenUsage.ResponseTokenCount
评测过程中所有模型 response 累积的 token 数。
UpdateTime string | 更新时间
模型评测结果的更新时间，RFC 3339 格式。
默认
Request
cURL
curl 'https://ark.cn-beijing.volcengineapi.com/?Action=GetEvaluationResult&Version=2024-01-01' \
-H 'Content-Type: application/json' \
-H 'X-Date: <X-Date>' \
-H 'X-Content-Sha256: <X-Content-Sha256>' \
-H 'Authorization: HMAC-SHA256 Credential=<AK>/<X-Date>/cn-beijing/ark/request, SignedHeaders=content-type;host;x-content-sha256;x-date, Signature=<Signature>' \
-d '{
"Id": "er-20240326054800-shhvj"
}
'Response
{
"ResponseMetadata": {
"RequestId": "202404111438083076CAB39885F31BD6",
"Action": "GetEvaluationResult",
"Version": "2024-01-01",
"Service": "ark",
"Region": "cn-beijing"
},
"Result": {
"Id": "er-20240326054800-shhvj",
"EvaluationJobId": "ej-20240326054800-gl9rp",
"DatasetType": "AdminDataset",
"AdminEvaluationDatasetId": "aed-20240227112053-bt425",
"DatasetName": "ark-ff-mmlu-other-5shots",
"DatasetDisplayName": "MMLU 其他学科",
"EvaluationAbility": "MMLU",
"ScoringWeight": 3107,
"Method": "BuiltIn",
"Metrics": null,
"TokenUsage": {
"TotalTokenCount": 0
},
"SamplesTosLocation": {
"BucketName": "",
"ObjectKey": ""
},
"CreateTime": "2024-03-26T05:48:00Z",
"UpdateTime": "2024-03-26T05:48:00Z"
}
}最近更新时间：2026.09.04 20:18:47
这个页面对您有帮助吗？
有用
有用
无用
无用