数据回流功能支持将 **自定义推理接入点** （不支持预置推理接入点）的调用数据（含 request 与 response）全程加密投递至 AI 数据湖服务中。您的数据仅归您所有、仅您可见、仅您可用，未经授权平台不会存储或使用。调用推理服务后，数据可见可能存在 10 分钟延迟。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/dc57ca96064d4965bb60e9afe883f637~tplv-goo7wpa0wc-image.image) ## **开启数据投递** ### **前提条件** * **权限要求** ：具备方舟 Standard 及以上权限。 * **服务开通** ：已开通 TOS 对象存储与 AI 数据湖服务（可在方舟控制台一键开通）。 ### **操作步骤** * **创建推理接入点时开启** ：在推理接入点配置页面勾选 **数据投递** 选项。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/cabf3e1949ad4cbbba62c727c346ad85~tplv-goo7wpa0wc-image.image) * **为推理接入点开启** ：进入推理接入点详情页，启用数据投递功能。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/921c8ff459ae471c857c5a6a424bc37f~tplv-goo7wpa0wc-image.image) ## **数据集创建与筛选** ### **数据筛选** 在 **数据集 \> 我的数据湖** 页面，通过“调用日期、模型版本、推理接入点 ”等筛选条件在全量数据中筛选出所需的数据范围，您可将筛选出数据采样并创建为数据集，用于模型精调等场景。如有进阶数据筛选、处理、分析等需求，可参考 [AI 数据湖进阶操作](https://docs.volcengine.com/docs/82379/1528785#f7ffdf50)。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/e6be1334b4fe4e0aa5985f35009b0cd3~tplv-goo7wpa0wc-image.image) ### **数据集创建流程** 1. **开始创建** ：点击「创建为数据集」进入配置页。 2. **数据采样策略** ： * **按比例采样** ：输入采样百分比（如 20%），从全量数据中随机抽取对应比例样本。 * **按数据量采样** ：指定样本数量（如 10,000 条），按时间顺序或随机抽取固定数量数据。 3. **数据集配置** ： * 选择 **新建数据集** 或 **已有数据集新版本** 。 * 数据格式强制选择 **SFT 精调** 。 4. **确认创建** ：核对筛选条件与采样策略，提交后等待数据集生成。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/7e76d35026534644881ecfd779218d46~tplv-goo7wpa0wc-image.image) ## AI 数据湖进阶操作 ### 查看推理结果集 1. 通过 API 调用推理接入点后，数据自动以结构化形式入库至 **我的数据湖** 。进入 **火山方舟** **\>** **数据集** **\>** **我的数据湖** 以查看调用详情。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/b9cf58ce5b6b4687a06716a31bdadee6~tplv-goo7wpa0wc-image.image) 2. 单击 **前往AI 数据湖服务编辑数据** ，进入 **LAS 控制台 \>** **数据集 \> 推理数据集** ，查看对应 **推理数据集** 。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/647dc7af39fd49c09986e313e4af1259~tplv-goo7wpa0wc-image.image) ### SQL 查询与导出 1. 单击目标数据集的名称进入详情页，选择 **SQL 查询** 进行数据探查。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/2bc957170d2c446d9044929c7ec3e09e~tplv-goo7wpa0wc-image.image) 2. 如图所示，您可在左下角回顾 **历史查询** ，也可选择 **SQL** **模板** 进行快速查询。您只需选择相应模板并运行查询，即可轻松获得准确结果。同时，点击右上角的 **全屏预览** 可进入沉浸式浏览。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/0cf581917d04476d96bd5f438a5c81c4~tplv-goo7wpa0wc-image.image) 3. SQL 查询结果支持导出至 **新数据集（LAS）、对象存储（TOS）以及火山方舟数据集** ，您只需要在查询完成后单击 **导出查询结果** ，并配置相关参数。注意，此处导出 **新数据集（LAS）** 为 **推理数据集** 而非 **通用数据集** 。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/2ea788da511f45c491c6bb00e6d113e5~tplv-goo7wpa0wc-image.image) ### 导出推理数据集 1. LAS 支持将 **推理数据集** 直接导出至方舟数据集以发起模型精调，同时也支持 SQL 查询结果直接导出至方舟。 2. 选择目标数据集或者 SQL 执行结果数据集，单击 **导出查询结果** 。勾选导出至 **火山方舟** 。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/599719940612454aa8a284a2f147e735~tplv-goo7wpa0wc-image.image) |**数据集名称** |导出数据集名称与当前推理数据集保持相同 | |---|---| |**导出字段** |可选， **全部字段** 和 **指定字段** 。选择 **指定字段** 以选择列名，支持导出特定列下的数据 | |**导出至** |可选，此处勾选 **火山方舟** | |**导出格式** |.jsonl | |**方舟数据集类型** |目前支持 **文本生成\-SFT 精调** ，详情可见[格式总览](https://docs.volcengine.com/docs/82379/1099461) | |**数据格式** |目前支持 **文本生成\-SFT 精调** ，详情可见[格式总览](https://docs.volcengine.com/docs/82379/1099461) | 3. 单击 **开始导出** 完成操作。 ## **发起模型精调任务** 在控制台「模型精调」模块，点击「创建精调任务」进入配置界面。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/4c1689b193064df6b450608652733d34~tplv-goo7wpa0wc-image.image) 创建任务时注意以下几项配置： * **训练类型** ：选择 **SFT 精调** 。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/313bcaeb71fe42eba5cd1a1c11cf1065~tplv-goo7wpa0wc-image.image) * **数据集选择** ：从下拉列表中选择步骤 3 生成的数据集版本 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/1080259fe347439981d7fd6742430738~tplv-goo7wpa0wc-image.image) 其他配置请参考[模型精调概述](https://docs.volcengine.com/docs/82379/1099459)完成。精调完成后，模型将作为「自定义模型」导出到「模型仓库」。 ### **参考文档** * [模型精调概述](https://docs.volcengine.com/docs/82379/1099459) * [有监督微调最佳实践](https://docs.volcengine.com/docs/82379/1221664) ## **精调模型使用** ### **在线推理部署** 为了通过 API 调用、控制台在线测试、批量推理等方式使用精调后的模型，可以在「在线推理」模块「自定义推理接入点」创建推理接入点。请参考 [获取 Endpoint ID（创建自定义推理接入点）(Ark for TT)](https://docs.volcengine.com/docs/82379/1099522) 获取推理接入点， **注意模型要选择模型仓库中的精调模型** 。 ### **模型评测** 参考[创建模型评测任务](https://docs.volcengine.com/docs/82379/1153149)新建评测任务，关联目标模型的推理接入点进行评测。任务启动后，可在评测任务列表中查看任务的运行状态和评测进度。每个模型都有属于该模型的单独评测任务，以便进行独立或组合查看。任务完成后，可以在任务详情页点击「评测报告」，查看当前模型在选择的能力维度下的单项得分和综合得分。每个能力维度下，可分别查看该能力项中各个数据集的得分。