数据智能体 DataAgent（私有化）
数据智能体 DataAgent（私有化）
- 文档首页
数据智能体 DataAgent（私有化）智能营销Agent指南企业知识引擎知识管理知识库导入知识
复制全文
下载 pdf
文档反馈
问问助手新建知识库后，需要导入相关的知识内容。企业知识引擎根据不同类型的知识库，支持多种导入方式，本文为您介绍不同类型的知识库导入知识的操作步骤。
您已新建好知识库，具体操作步骤请参见新建企业知识库。
步骤一 导入知识
- 点击新建好的知识库，进入知识库详情页面。
- 点击「导入知识」按钮，上传知识文件。
步骤二 选择导入方式
若您新建的知识库内容类型为通用内容，则支持四种方式导入，分别是本地文件、云文档、在线链接、对象存储导入。选择对应的导入方式后，单击下一步，进入对应的导入知识数据页面。
步骤三 导入知识数据
方式一 上传本地文件
- 在选择导入方式界面，选择本地文件类型。
支持的文件类型包括：通用文档（doc/docx/wps/txt/md）、PDF（pdf/ofd）、演示文稿类（ppt/pptx/pdf/ofd演示文稿类）、表格（xlsx/et/csv）、图片（jpg/jpeg/png）、音频（mp3/wav）、视频（mp4/avi/mov）、压缩文件（zip）、其他（html/json）。 - 单击下一步，在导入知识数据界面，选择文件夹作为保存路径。
系统会根据您创建的知识库，自动创建一个以知识库名称命名的文件夹，作为默认的保存路径。若您需要保存在其他文件夹，可在知识库的知识管理页面新建文件夹。 - 上传文件作为知识库内容。
注意
上传时请注意页面提示的文件限制。
- 在页面底部选择开启或关闭跳过重复文档。
关闭后，所有内容重复的文档都可继续导入，会导致库中知识重复。 - 单击下一步。
方式二 从云文档导入
在选择导入方式界面，支持选择飞书云文档、企业微信文档、钉钉云文档。
选择后，在导入知识界面，根据指引完成配置。
选择保存路径。
系统会根据您创建的知识库，自动创建一个以知识库名称命名的文件夹，作为默认的保存路径。若您需要保存在其他文件夹，可在知识库的知识管理页面新建文件夹。自定义导入任务名称。
选择是否开启知识自动更新，开启后需要按需配置自动更新频率（天级、周级、月级），并设置时刻。后续在符合更新频率的时刻将自动更新知识。
在导入知识选择区域，首次导入需要完成飞书、企业微信、钉钉的授权，授权完成后可导入云文档。
注意
- 企业管理员需要先完成云文档接入配置（详情请参见接入云文档），然后在当前页面根据指引完成用户授权或选择知识。
- 授权后，仅可导入授权用户有权限的云文档（具体权限遵从飞书、企业微信、钉钉云文档的权限管理逻辑）。
导入渠道
配置说明
飞书云文档
- 快捷添加：授权完成后可获取到有权限的飞书云文档，然后勾选需要导入的文档。
- 链接添加：输入有权限的云文档链接导入文档，支持添加多个。
注意
目前不支持飞书原生表格、原生 PPT，以及文件上传类的音频、视频、压缩文件类型的知识接入，会持续迭代。
企业微信文档
输入企业微信文档链接进行导入，支持添加多个链接。
钉钉云文档
支持从团队文件、我的文档、知识库中选择文件。
在页面底部选择开启或关闭跳过重复文档。
关闭后，所有内容重复的文档都可继续导入，会导致库中知识重复。单击下一步。
方式三 在线链接
- 在选择导入方式界面的在线链接区域，选择公开链接，支持导入公开访问的文档链接。
- 在导入知识页面，完成以下配置。
- 选择保存路径。
系统会根据您创建的知识库，自动创建一个以知识库名称命名的文件夹，作为默认的保存路径。若您需要保存在其他文件夹，可在知识库的知识管理页面新建文件夹。 - 在导入知识选择区域，输入无需授权即可下载的公开链接，并设置页面解析深度。
- 单次最多输入 20 条 URL，输入框内每行一条。
- 页面解析深度选择：
- 仅当前链接，仅解析当前 URL 的内容。
- 下钻一层：当前 URL 内含的子级 URL 也会进行解析。
- 配置完成后单击添加并解析，等待系统解析完成，可以查看解析结果。
- 选择保存路径。
- 在页面底部选择开启或关闭跳过重复文档。
关闭后，所有内容重复的文档都可继续导入，会导致库中知识重复。 - 单击下一步。
方式四 从对象存储导入
- 在选择导入方式界面的对象存储区域，可导入火山云TOS，腾讯云COS，阿里云OSS等支持S3协议的对象存储服务或系统中的知识。
- 单击下一步，在导入知识数据界面，完成以下配置。
- 选择保存路径。
系统会根据您创建的知识库，自动创建一个以知识库名称命名的文件夹，作为默认的保存路径。若您需要保存在其他文件夹，可在知识库的知识管理页面新建文件夹。 - 自定义导入任务名称。
- 选择是否开启知识自动更新，开启后需要按需配置自动更新频率（天级、周级、月级），并设置时刻。后续在符合更新频率的时刻将自动更新知识。
- 在导入知识选择区域，选择指定对象存储的数据连接，如果没有符合需求的数据连接，可单击新建前往创建后再选择。
各对象存储数据连接方式，请参见：
- 选择保存路径。
- 选择数据连接后，设置导入范围，支持部分导入或全部导入。
说明
- 若数据量较大，全部导入可能需要较长的导入时间和解析时间。
- 目前暂不支持压缩文件类型的知识接入。
- 在页面底部选择开启或关闭跳过重复文档。
关闭后，所有内容重复的文档都可继续导入，会导致库中知识重复。 - 配置完成后单击下一步。
步骤四 配置知识分段方式
知识分段是将长文档拆分成较小、更易于模型处理和检索的单元的过程，合理的配置有助于提升检索的准确性和效率。
说明
- 在营销 Agent V2.1.0 及以上版本，导入通用文档（WORD、PDF、PPT）时，配置知识分段方式支持去除页眉页脚。
- 知识标签功能在 CDP V1.30.3 及以上版本支持。
- 自动分段功能在 CDP V1.29 及以上版本支持。
进入知识分段方式配置，选择分段模式。
- 支持选择自动分段、自定义分段、模型总结分段、上下文感知分段。
- 自动分段：采用通用切片策略，由模型按照文档结构自动识别文档进行切片
- 自定义分段：需手动定义分段规则、分段关联信息、合并小分段配置项
- 模型总结分段：通过模型总结摘要、关键信息提取，分割文档片段
- 上下文感知分段：通过模型分析上下文信息，智能分割文档片段
- 需要根据页面提示信息，配置解析策略、分段最大长度。
说明
不同导入方式的配置项可能不同，请以实际页面信息为准进行配置。
- 支持选择自动分段、自定义分段、模型总结分段、上下文感知分段。
配置知识增强参数。
调用大模型对各分段抽取更丰富的知识点以构建索引，可提升分段召回效果，但会增加处理时长和资源消耗。参数
参数说明
默认配置
文档摘要
一段话概括文档主题和核心结论，用于文档级的粗筛。
开启
文档导读
覆盖文档核心要点的详细概括，如背景、发现、结论，便于快速掌握文档内容，主要用于用户浏览文档关键信息使用。
关闭
分段摘要
一句话凝练切片核心，用于切片的快速与精准检索，可提升检索召回的精准度。
关闭
分段关键问题
切片可回答的高频问题，增强 Query 和 chunk 的语义距离，可提升检索召回的精准度。
关闭
分段关键词
便于检索的标签，用于关键词过滤，可提升检索召回的精准度。
关闭
设置知识质量检测参数。
参数
参数说明
默认配置
文档去重
开启后，系统会校验本次上传的文件内容是否与该知识库已有文件重复，如有重复则不可上传。通过校验文件MD5，只有完全重复的文件才会被判定为重复。
关闭
错别字检测
开启后，系统会检测上传的文件内容是否有错别字。
关闭
语句不完整检测
开启后，系统会检测上传的语句是否有不完整的现象。
关闭
敏感词检测
开启后，系统会检测上传的内容是否有敏感词。
关闭
配置知识标签。
通过知识打标对知识进行分类，具体配置操作请参见知识分类。
- 点击新建好的知识库，进入知识库详情页面。
- 点击上传，上传Query缓存的内容文件，然后点击完成。
文件支持xlsx、et、csv等格式，单次可上传最多10个文件，单个文件不超过 10 MB，且行数不超过 1 万行。说明
建议您点击下载模板，按照模板的要求填写Query名称、描述。
- 点击缓存Query，新建Query缓存。
- 在新建Query缓存面板，填写相关参数，然后点击保存。
- 点击新建好的知识库，进入知识库详情页面。
- 点击上传，上传QA问答的内容文件，然后点击完成。
文件支持xlsx、et、csv等格式，单次可上传最多10个文件，单个文件不超过 10 MB，且行数不超过 1 万行。说明
建议您点击下载模板，按照模板的要求填写问题和回答（回答支持添加图片）。
- 点击QA问答，新建QA问答。
- 在新建QA问答面板中，填写问题和回答（回答支持添加图片），然后点击保存。一次最多添加20个问答。
- 点击新建好的知识库，进入知识库详情页面。
- 点击上传，上传QA问答的内容文件，然后点击完成。
文件支持xlsx、et、csv等格式，单次可上传最多10个文件，单个文件不超过 10 MB，且行数不超过 1 万行。说明
建议您点击下载模板，按照模板的要求填写术语名称、术语释义。
- 点击术语，新建术语。
- 在新建术语面板中，填写术语名称和释义，还可以点击添加，添加近义词，然后点击保存。一次最多添加20个术语。
- 点击进入新建的结构化数据类型知识库。
- 在知识管理页面的全部知识区域，单击导入知识。
- 在导入知识页面，完成以下配置，并在页面底部单击保存。
导入方式选择本地文件或数据集。- 若选择本地文件，则需通过本地上传文件，一次支持上传 1 个 xlsx/csv 格式文件，大小不超过 20 MB，建议行数不超过 5 万行。
- 保存至：当前知识文件的保存路径。
系统会根据您创建的知识库，自动创建一个以知识库名称命名的文件夹，作为默认的保存路径。若您需要保存在其他文件夹，可在知识库的知识管理页面新建文件夹。 - 表格字段配置：需要依次选择导入 Sheet、表头所在行以及数据起始行，系统会根据设置自动识别表格列名称，您需要根据实际需要自定义设置导入后列名、字段展示名、数据类型以及描述，并配置以下开关：
- 是否启用（参与召回）：开启后该字段参与召回和结果返回配置。
- 参与向量检索：开启后该字段将通过 Embedding 模型生成向量，用于语义相似度检索。建议对核心文本字段开启。
- 参与条件过滤：开启后该字段可作为检索时的精确过滤条件，如按日期、类别、渠道等筛选。
- 唯一标识字段：用于生成稳定的 row_key。首次配置后，资产才支持后续追加、覆盖和手动新增。
- 在表格字段配置底部，支持手动添加新字段。
- 保存至：当前知识文件的保存路径。
- 若选择数据集，则需要从 Clickhouse/Hive 数据集中，选择并配置数据集、分区类型、分区字段。
- 保存路径：当前知识文件的保存路径。
系统会根据您创建的知识库，自动创建一个以知识库名称命名的文件夹，作为默认的保存路径。若您需要保存在其他文件夹，可在知识库的知识管理页面新建文件夹。 - 导入任务名称：自定义任务名称即可。
- 知识自动更新：开启后按需配置自动更新频率（按天、按月），并设置时刻。后续在符合更新频率的时刻将自动更新知识。
- 表格字段配置：系统会根据设置自动识别数据集列名称，您需要根据实际需要自定义设置导入后列名、字段展示名、数据类型以及描述，并配置以下开关：
- 是否启用（参与召回）：开启后该字段参与召回和结果返回配置。
- 参与向量检索：开启后该字段将通过 Embedding 模型生成向量，用于语义相似度检索。建议对核心文本字段开启。
- 参与条件过滤：开启后该字段可作为检索时的精确过滤条件，如按日期、类别、渠道等筛选。
- 唯一标识字段：用于生成稳定的 row_key。首次配置后，资产才支持后续追加、覆盖和手动新增。
- 保存路径：当前知识文件的保存路径。
- 若选择本地文件，则需通过本地上传文件，一次支持上传 1 个 xlsx/csv 格式文件，大小不超过 20 MB，建议行数不超过 5 万行。
完成知识分段配置并提交后，知识导入任务开始执行。知识库管理列表页将展示知识处理状态，如处理中、处理成功等信息。
在处理状态列字段支持筛选各状态的知识信息。
在知识库页面，点击知识召回测试，进入知识库测试页面。
完成以下配置，进行召回测试。
知识库类型
配置项说明
通用内容/QA问答/术语/Query缓存
- 搜索关键词：输入关键词进行搜索。
- 指定知识范围：选择参与召回测试的文档范围，默认全部文档。
- 过滤标签：按知识标签过滤召回结果。
- 向量检索权重：调节关键词匹配与语义理解的比重，值越低越注重精确词句命中，值越高越注重整体语义相关性。
- 混合相似度阈值：综合语义匹配和关键词匹配的相关性得分下限。仅当候选文档的混合相似度 ≥ 该阈值时才会被召回。数值越高，召回结果越精准但数量越少；数值越低，召回范围越广但可能引入噪声。
- 排序策略：支持选择不排序、语义模型排序、大模型排序。
- 语义模型排序：使用专用的语义排序模型，对初筛分片按相关性重新打分排序。速度快、成本低，适用于大多数场景。
- 大模型排序：调用大语言模型逐条评估分片与问题的匹配度，排序质量更高，但速度稍慢。适用于对回答质量有较高要求的场景。
- 初筛分片数：从知识库中检索并返回的候选分片数量。数值越大，召回的信息覆盖面越广，但会增加处理时间。该数值应 ≥ 精选分片数。
- 排序分数阈值：当设置阈值后，仅保留分数 ≥ 该阈值的召回分片，低于阈值的结果将被直接过滤，不参与最终展示。阈值越高结果越精确，但召回数量可能减少；阈值越低结果越丰富，但可能混入相关性较弱内容。
- 召回分段数：经过重排序后，最终在检索列表展示和送入大模型的分片数量。数值越大，模型获得的参考信息越多，但可能引入噪声。
结构化数据
- 指定知识范围：
- 数据表：候选为当前结构化知识库下处理成功的数据表（表格或数据集）。
- 筛选条件：按当前数据表的可过滤字段设置精确过滤条件。
- 语义召回字段（向量列）：候选仅包含当前数据表中已开启向量索引的字段，默认不选择；在混合检索、向量检索模式下生效。
- 结果返回字段：候选为当前数据表全部字段，用于裁剪召回结果卡片展示的列，默认选择导入时“是否启用”打开的字段。
- 语义搜索关键词：输入用于语义召回的搜索关键词，最多 200 字。
- 向量检索参数：
- 向量检索权重：调节关键词匹配与语义理解的比重，值越低越注重精确词句命中，值越高越注重整体语义相关性。
- 混合相似度阈值：综合语义匹配和关键词匹配的相关性得分下限。仅当候选数据的混合相似度达到该阈值时才会被召回。
- 排序策略：不排序时按检索引擎默认顺序返回；语义模型排序会对初筛结果进行重排序。
- 召回记录数（行）：经过重排序后，最终在召回结果卡片展示的结构化数据行数。数值越大，获得的参考信息越多，但可能引入噪声。
基于召回段落排序、重排序分数、混合相似度等指标，评估召回准确度。
- 通用内容/QA问答/术语/Query缓存
- 结构化数据
- 通用内容/QA问答/术语/Query缓存
进行知识打标、有效期等知识管理操作，具体操作请参见管理知识。
场景1：从文本特征维度评估
基于复杂程度评估，可参考以下参数配置逻辑：
参数
复杂文本
简单文本
说明
如学术研究论文等专业内容，涉及多领域知识和复杂逻辑。
如日常对话、简单咨询记录等内容，不涉及复杂的逻辑与知识解析。
自动关键词
建议配置12-20，覆盖多领域交叉概念。
建议配置8-12（或更少），聚焦高频主题。
自动问题
建议配置4-6，拆解复杂逻辑链条。
建议配置2-3，简化交互意图。
拆分策略
文档树 / 章节，保留目录结构。
段落（按自然段切分，如客服对话中的问答轮次）。
字符长度
512-1024（或更高）（容纳长段落公式 / 图表描述）。
128-256（适配短对话 / 单句指令）。
是否识别PDF表格
建议开启（提取实验数据表格、法规附表）。
可选开启（仅含文本时关闭以节省资源）。
是否使用PDF的 Outline
建议开启（利用目录定位章节，如 “第三章 模型构建→3.1 算法原理”）。
可选关闭（无目录结构时无需启用）。
章节预期的最大层级
3-4 级。
1-2 级。
块token数
建议配置512-1024（或更高），以确保长段落语义连贯性。
建议配置128-256，避免冗余计算。
分段标识符
建议以句号、分号等严谨符号分段。
建议以句号、逗号等常规符号分段。
布局识别
建议开启。
建议开启。
表格转HTML
建议开启。
建议开启。
基于文本长度评估，可参考以下参数配置逻辑：
参数
长文本
短文本
说明
例如技术手册、长篇小说等内容。
例如社交媒体评论、短消息等内容。
拆分策略
文档树 / 章节（按 “章→节→小节” 拆分）。
段落 / 自定义分隔符（按 “\n” 或 “。” 切分）。
字符长度
1024+（跨章节语义关联，如 “第五章公式→第六章应用”）。
128-256（单条消息独立处理）。
是否合并小 chunks
关闭（保留章节独立性，如 “附录 A” 与 “正文” 分开）。
开启（合并相邻短句，如 “你好→请问有什么可以帮你？”）。
PDF页数限制
500-1000（分批次处理大文件，如 “2000 页法规分 4 次解析”）。
无特殊限制（单页 / 少量内容一次性处理）。
块Token数
建议配置512-1024（或更高），兼容长上下文依赖。
建议配置128-256，快速响应需求。
分段标识符
建议以换行符、章节标题等作为分段标识。
建议以句号或自然停顿为分段标识。
布局识别
建议开启
建议开启
表格转HTML
建议开启
建议开启
场景2：从应用场景维度评估
- 高精度场景（学术研究、法律文档等）。
- 核心目标：最大化知识关联性与完整性。
- 配置策略：关键词提取数量多，问题拆分细致，字符长度长，严格按文本结构和逻辑分段，准确识别布局并处理表格数据。
- 高效率场景（智能客服、实时交互等）
- 核心目标：平衡语义理解与响应速度。
- 配置策略：在保证理解语义的基础上，关键词和问题数量适中，采用简单易处理的分段标识符，布局识别和表格处理要简洁高效。