ByteHouse 知识库用于集中管理企业业务知识、产品文档、行业资料和分析经验,并将知识内容用于智能检索、召回测试、知识图谱构建和智能助手问答等场景。您可以在控制台中创建文本或多模态知识库,导入本地文件或 TOS 文件,查看文档解析结果和切片内容,并按需管理知识库、文档和切片的启用状态。
ByteHouse 知识库是专为企业打造的知识管理功能,可整合存储业务与行业知识,通过向量化处理、语义检索及 QA 生成实现高效知识使用,并支持权限管控与效果评估。核心能力如下:
该功能为 Beta 功能,如需使用,请提交工单或联系 ByteHouse 团队获取白名单权限。
您可以在知识库管理界面创建文本或多模态知识库,并按业务知识类型配置向量模型、切片方式和知识增强能力。知识库创建完成后,可继续导入文档并查看文档解析结果和切片内容。
登录 ByteHouse 云数仓版控制台,在左侧导航栏选择 数据资产 > 知识库,进入知识库管理页面。
单击**+知识库按钮,创建知识库,在新建知识库页面中,填写知识库名称、描述信息,选择模型配置、切片配置等,完成后单击立即创建**。系统将创建并启用该知识库。
说明
切片方式用于控制系统如何将导入文档拆分为多个知识片段。合理的切片方式可以提升知识库对文档内容的管理、检索和召回效果,便于后续根据问题快速定位相关内容。
切片方式 | 说明 | 适用场景 |
|---|---|---|
按文本块大小 | 根据设定的文本长度将文档切分为多个相对均匀的文本块。您可以配置建议文本块大小和分段标识符,系统会结合配置和文档内容进行切分。
| 适用于无明确标题结构的非结构化文档、超长文档,或需要控制切片长度、提高短关键词匹配效果的场景。 |
按标题层级 | 根据文档标题结构进行切片。您可以选择作为切片依据的分段层级,系统会按所选层级的标题级别拆分文档,每个切片包含该标题级别下的相关内容。例如,选择三级标题时,系统会按照文档中的三级标题拆分为多个独立片段。 | 适用于标题体系清晰的结构化文档,例如产品文档、操作手册、章节划分明确的规范文档。 |
知识库创建完成后,您可以导入本地文件或 TOS 文件。文档导入后,系统会按照创建知识库时配置的切片方式解析文档,并在知识库详情页展示解析状态、段落数量和切片详情。
在知识库管理界面,单击目标知识库卡片,进入知识库详情页。
在原始文档页签中,单击右上方的文档上传按钮,进入上传文档页面。
在导入方式区域,选择本地文件导入或TOS 导入。
文档导入后,返回知识库详情页的原始文档页签查看解析结果。
解析完成后,您可在文档列表中查看到该文档,且解析状态为“已完成”。如果您的文档较大,系统需要较长时间处理,请耐心等待。如果解析失败,系统将提供失败原因,您可根据失败原因采取相应处理措施。
您可单击文档名称,或者操作列的切片详情来查看文档分段详情。
在 ByteHouse 中,召回测试是针对上传至知识库的文档内容,评估系统从文档集合中准确找回所有与用户查询相关片段的性能测试,用于验证 ByteHouse 是否能从已上传的文档中尽可能全面地提取与关键词相关的文本片段,避免遗漏关键信息。
参数 | 说明 |
|---|---|
图文检索 | 用于输入需要测试的检索内容。多模态知识库可结合图文内容进行召回测试。 |
返回数量(TopK) | 控制单次测试返回的召回切片数量。数值越大,返回的候选切片越多。 |
相似度得分 | 用于控制召回结果的相似度阈值。相似度得分越高,召回结果与输入内容的相关性要求越高。 |
历史记录 | 展示最近的召回测试记录,便于复查历史测试内容。 |
召回段落 | 展示命中的切片内容、相似度得分、来源文档和切片编号。 |
知识库创建完成后默认启用,AI Studio的智能问答将读取您创建的知识库,您可按需选择并关联知识库,帮助您更好地结合业务需求使用 ByteHouse。
知识库创建并导入文档后,您可以在知识库管理界面和知识库详情页中完成日常管理操作,包括启用或禁用知识库、编辑知识库信息、删除知识库、管理原始文档、查看切片详情、查看知识图谱、查看增量任务以及管理知识库权限。
知识库创建后默认启用,如需禁用某个知识库,您可将鼠标悬浮在知识库卡片上,单击禁用按钮,系统将临时停用该知识库,且不可关联至智能助手。
如需重新启用该知识库,您可单击启用按钮。启用后,您可以在AI Studio的智能问答页面选择该知识库并使用该知识库内容解答业务问题。
如需修改知识库描述、知识增强等配置,可将鼠标悬浮在知识库卡片上,单击编辑按钮,进行修改。
上传至知识库的文档默认启用。在知识库详情页,单击原始文档页签,可查看已导入文档列表,并通过文档行中的启用状态开关控制该文档是否参与知识库检索和调用。
在知识库详情页,单击切片详情页签,可查看当前知识库下的切片内容。切片详情页支持按文档筛选,也支持通过搜索框按切片内容检索。
如果您需要在某个文档的现有切片中添加新的切片,可在原始文档界面点击目标文档名称或者操作列的切片详情按钮进入目标文档的切片详情页,单击新增切片,在编辑框中输入内容,并单击保存,系统将生成新的切片。
您可将鼠标悬浮在分段上方,单击对应按钮,按需管理分段:
您可以通过知识图谱查看知识内容之间的关联关系,辅助理解知识库中的实体、关系和内容组织情况。对于多模态或结构化内容较多的知识库,知识图谱可帮助快速发现知识覆盖范围和关联路径。
构建规则用于约束系统从知识库文档中抽取实体和关系,帮助系统按照业务语义识别关键概念、保留专有名词,并减少无关或粒度不一致的节点。
在构建规则输入框右上角,单击模板图标,可以查看构建规则模板。模板提供以下填写格式:
您可以参考模板格式,在构建规则输入框中填写规则。配置完成后,单击开始构建。系统会根据知识库中的文档内容和构建规则生成知识图谱,并在右侧区域展示实体及实体之间的关联关系。
构建规则示例
以下示例以产品支持知识库为例。该类知识库通常包含产品功能说明、FAQ、故障排查手册和配置参数说明,适合通过知识图谱展示功能、配置、问题和解决方案之间的关联关系。
实际使用时,请根据知识库中的业务内容填写实体样例、抽取范围和不可切分词组。
#实体样例: 产品名称 功能模块 配置项 错误码 问题现象 故障原因 解决方案 适用版本 #限制: 仅抽取与产品功能、配置项、错误码、问题排查和解决方案相关的实体。 不要抽取普通描述性词语、页面按钮文案、示例编号或无业务含义的泛化词。 #不可切分的实体(词组): 自动扩缩容 访问控制 数据同步任务 连接超时 权限校验失败
配置完成并开始构建后,知识图谱会基于知识库文档生成实体节点及关联关系。例如,用户可以在图谱中查看某个问题现象关联的功能模块、配置项、故障原因和解决方案。
在构建规则输入框右上角,单击构建历史记录图标,可以打开构建历史记录面板。
您可以通过构建历史记录回看不同时间提交过的规则内容,在未构建或者已构建但停止状态的知识图谱状态下,选中一条历史记录后,单击面板右下角的填入规则,可以将该历史记录中的规则内容填入当前构建规则输入框。
知识图谱构建完成后,页面右侧会展示图谱状态、最新数据来源时间、实体节点和节点之间的关联关系。图谱处于运行状态时,表示当前知识图谱结果已生成并可在页面中查看。
如果知识库中的文档发生更新,您可以单击图谱展示区右上角的刷新按钮,查看当前知识图谱的最新结果。
如果需要调整构建规则并重新生成知识图谱,请先停止当前运行中的知识图谱。您可以单击当前运行中的知识图谱右上角的停止按钮,停止后,修改左侧构建规则,再单击开始构建,系统会基于知识库文档和新的构建规则重新生成图谱。
知识库支持通过 TOS 路径导入文档,并在知识库详情页的增量任务表中查看和管理对应的增量更新任务。增量任务用于按固定频率检查指定 TOS 路径下的内容更新,使知识库可以持续同步远程知识源中的文档变化。
用户可以先在原始文档页导入 TOS 文档,并配置增量任务,详情参见步骤二:导入知识的TOS导入。再通过增量任务表查看和管理增量更新任务。
ByteHouse 支持为用户授予知识库权限。
SystemAdmin 或 AccountAdmin 角色的用户可通过为用户授予角色或直接授予资源权限的方式,为某位用户授予/撤销知识库权限,该权限包括全部知识库的创建、查看、管理权限。您可在知识库管理界面单击权限管理,系统将跳转至对应界面。
操作详情请参见以下文档: