本实践指南旨在演示如何利用 LAS 端到端地构建一个基于私有 PDF 文档的 RAG（Retrieval-Augmented Generation）知识库。整个流程覆盖了从原始 PDF 文档的上传、智能解析（图文分离）、多模态向量化，到最终数据入湖至 ByteHouse 向量数据库，并提供了通过代码进行高效向量检索的完整实现。

本文将详细拆解环境准备、数据入湖 Pipeline 开发、批量任务执行及向量检索验证的全过程，为用户搭建企业级知识库提供一套完整的、可复现的操作流程。

背景信息

在企业运营和行业研究中，海量的知识通常以 PDF、Word 等非结构化文档形式沉淀。如何高效地从这些文档中提取价值，并将其与大语言模型结合，以问答、摘要、分析等形式提供智能服务，是当前技术领域的一大热点。RAG 技术通过“检索”外部知识库来“增强”大模型的生成能力，是解决这一问题的关键。

构建一个高效的 RAG 系统，需要克服以下挑战：

复杂的文档解析：PDF 等文档通常包含文本、图片、表格等多种元素，需要进行精准的图文分离和内容提取。

有效的数据分块与向量化：需要将长文本切分为语义完整的块（Chunks），并与图片一起转化为高质量的向量（Embeddings）。

可靠的存储与检索：需要一个稳定、高效的向量数据库来存储和管理数十亿级别的向量，并提供低延迟的相似度检索能力。

繁琐的基础设施搭建：整个流程涉及对象存储、计算资源、开发环境、数据库等多个组件的搭建与联通。

LAS 数据湖服务通过提供一站式的多模态数据处理能力和集成开发环境，极大地简化了上述流程。

工作原理

本解决方案包含两大核心阶段：**数据入湖**和**向量检索**。

数据入湖

此阶段的目标是将原始 PDF 文件处理成可供检索的向量数据，并存入 ByteHouse。

PDF 解析：使用 PDFParse 算子，对 PDF 进行深度解析，分离出纯文本内容和图片文件。

文本分块：使用 ChunkTextSentenceSplitter 算子，将解析出的长文本切分为固定大小且有重叠的语义块。

多模态向量化：使用 DoubaoEmbeddingVision 算子，分别对文本块和图片进行向量化，生成能够表征其语义的 Embedding 向量。

写入数据库：通过自定义的 ClickhouseWriter UDF，将处理后的文本块、图片路径及其对应的向量数据一同写入 ByteHouse 的指定表中。

向量检索

此阶段的目标是根据用户输入的查询，从 ByteHouse 中检索出最相关的文档片段。

查询向量化：使用 DoubaoEmbeddingVision 算子，将用户的文本查询（Query）转化为向量。

相似度检索：在 ByteHouse 中执行向量相似度查询（cosineDistance），找出与查询向量最相似的 Top-K 个文本或图片向量。

返回结果：返回与 Top-K 向量对应的原始数据片段（文本内容或图片路径），这些内容可用于后续输入给大语言模型作为上下文。

前提条件

火山引擎账号准备

使用 LAS 控制台，需先注册火山引擎账号，详见账号注册。

火山引擎账号注册成功后，您需完成相关认证工作，详见个人认证和企业认证。

环境与资源准备

已开通 AI 数据湖服务、对象存储 TOS 和 ByteHouse 企业版。

步骤一：准备对象存储（TOS）

登录对象存储 TOS 控制台。

进入桶列表创建一个存储桶（Bucket），例如 las-rag-bj。

在存储桶内创建存放数据文件的文件夹路径，例如 test。

将准备好的 PDF 文档上传至该路径。

步骤二：创建并配置 ByteHouse 向量数据库

登录 ByteHouse 企业版控制台。

在集群管理页面，选择集群列表点击新建集群。等待集群创建完成。

配置计算资源规格：通用型（1:4） - 16vCPU 64GiB，单副本；节点数：2。

配置存储资源：单节点本地存储：100GiB，不开启冷热分层。

配置网络资源：选择 VPC、子网、安全组。

关键配置：在“高级特性”中，务必开启向量检索功能。

进入数据管理页面，单击左侧 +新建后选择创建库，创建一个新的数据库，例如 pdf_rag_db。

在该数据库下，选择右侧创建表创建一张表，用于存储向量数据。详细参数配置参见新建数据库/表。

表结构示例：排序键/主键设置可根据需求选择，例如 pdf_tos_path

*字段名称	*类型	描述（可选）
pdf_tos_path	String	原始 PDF 的 TOS 路径
modality	String	数据模态
content	String	文本块内容
image_tos_path	String	图片的 TOS 路径
parsed_markdown_tos_path	String	解析后 Markdown 文件的 TOS 路径
embedding	Array(Float32)	向量数据

记录下 ByteHouse 集群的连接信息，后续代码中将会使用。

bh_host 从 Bytehouse 企业版 > 集群管理 > 基本信息" 的网关获取

bh_port 默认是 8123

bh_user 从 Bytehouse 企业版 > 集群管理 > 连接集群"获取

bh_password 从账号管理获取密码

步骤三：创建 LAS 数据湖资源

登录 AI 数据湖服务控制台。

在资源管理 > 队列管理中，创建一个通用队列，用于运行开发机。

返回 AI 数据湖服务控制台，在数据处理 > 开发机中，点击创建开发机。创建操作详情参见创建开发机及开发机使用快速入门。

关联上一步创建的通用队列。

将本地生成的 SSH 公钥 (.pub 文件内容) 粘贴到配置中。

等待开发机创建完成，并记录下负载均衡的公网 IP 和开发机的调用端口。

操作流程

本实践基本操作流程如下所示：

步骤一：数据入湖 Pipeline 开发与执行

步骤二：向量数据检索

步骤一：数据入湖 Pipeline 开发与执行

开发数据入湖脚本。

通过 SSH 登录已创建的开发机，连接开发机请参考远程连接开发机，创建一个 Python 脚本（例如 pdf_to_bh.py），编写数据处理 Pipeline。

在开发机调试脚本。

在开发机终端中，通过 export 命令设置所有需要的环境变量，然后执行脚本进行调试。示例：

#pdf 解析参数
export TOS_ENDPOINT="https://tos-cn-beijing.volces.com"
export ACCESS_KEY="xxx"
export SECRET_KEY="xx="
export LAS_ACCESS_KEY="xxx"
export LAS_ACCOUNT_ID="xx"
export DAFT_RUNNER="xxx"
#bh写入参数
export bh_host="xx"
export bh_port="8123"
export bh_user="xx"
export bh_pass="xx"
export bh_database="xx"
export bh_table="xx"
#文件入口参数
export input_tos_dir="xx"
export output_tos_path="xx"
#启动命令
unset LAS_BASE_URL
python pdf_to_bh.py