AI 数据湖服务
AI 数据湖服务
帮助文档
请输入
- 文档首页
AI 数据湖服务元数据管理应用实践使用 LAS Catalog 管理 Lance 表
复制全文
下载 pdf使用 LAS Catalog 管理 Lance 表
文档反馈
问问助手Lance 是一种专为 AI/向量检索和分析场景优化的列式存储格式。将存储在对象存储（TOS）上的 Lance 表接入 AI 数据库服务（LAS）Catalog 进行统一管理，可带来以下收益：
- 提升可观测性：集中统一查看 Lance 表的 Schema 结构、物理文件数、Fragment 数量、最近更新时间以及各类索引状态；
- 降低维护成本：通过控制台产品化能力完成索引管理、小文件合并与快照清理，避免用户自行开发和维护底层的周期性脚本；
- 提升使用稳定性：有效降低因小文件持续累积、历史快照膨胀、索引维护滞后等底层存储问题对查询性能与系统稳定性的影响；
- 统一管理入口：通过 LAS Catalog 构建标准化的元数据层，便于后续无缝对接 Spark、Ray 等计算与 AI 引擎进行多引擎统一读写与分布式分析。
本文介绍如何将 Lance 表接入 LAS Catalog，并使用控制台能力进行日常运维与性能优化。
说明
为了更准确获取元数据信息，进行表的维护，LAS Catalog 会访问表在 TOS 中存储的元数据。
注意事项
- 索引管理仅支持 Lance 7.x 及以上版本。
- 索引管理、计算资源配置和智能模式为白名单功能，如果您希望使用此功能，提交工单联系开通功能白名单。
准备工作
在开始操作前，请确保已完成以下配置：
- 环境与权限配置
- 已开通 TOS，并创建用于存储 Lance 表的 Bucket。详情请参见：创建存储桶。
- 资源配置
- 索引管理、小文件合并、快照清理任务依赖表级计算资源。首次使用前，请先在表详情页右上角的 计算资源配置 中关联可用的 EMR Serverless 队列和计算组，详情请参见：计算资源配置。
将 Lance 表接入 LAS Catalog
根据 Lance 表是否已存在，选择注册已有表或在 Catalog 中创建新表：
- 注册已有 Lance 表：适用于 Lance 表已存储在 TOS、但尚未纳入 LAS Catalog 管理的场景。注册过程中，LAS Catalog 会解析存储路径中的 Lance 数据并获取字段信息。
- 在 Catalog 中创建 Lance 表：适用于新建表场景。通过该方式创建的 Lance 表由 LAS Catalog 统一管理。
注册已有 Lance 表
- 登录 LAS 控制台，在左侧导航栏选择 湖管理 > 元数据。
- 选择目标数据库，然后单击 创建数据表。
- 设置 数据表名称，将 表格式 设置为 Lance，填写 Lance 表在 TOS 中的完整存储位置。
- 开启 从数据集中导入数据。
- 在字段信息区域检查解析结果，确认字段与源表一致。
- 单击 提交。
- 在目标 Catalog 和数据库下打开已注册的表，确认以下信息：
- 数据表名称及所属 Catalog、数据库正确。
- 存储位置指向目标 TOS 路径。
- 存储格式、输入格式和输出格式均为 Lance。
- 字段名称、字段类型和字段描述与源表一致。
在 Catalog 中创建 Lance 表
- 登录 LAS 控制台，在左侧导航栏选择 湖管理 > 元数据。
- 选择目标数据库，然后单击 创建数据表。
- 设置 数据表名称，将 表格式 设置为 Lance，填写 Lance 表在 TOS 中的完整存储位置。
- 单击 提交，然后进入表详情页确认创建结果。
查看 Lance 表信息
完成注册或创建后，可在表详情页查看以下信息：
- 基本信息：表名、所属库/目录、Owner、生命周期、格式与序列化配置、字段列表及备注。
- 数据概况：存储大小、行数、文件数、Fragment 数、版本/索引数及分布范围。
- 存储优化：小文件合并与快照清理的最近执行时间、任务状态、开始时间与耗时。
- 索引管理：索引名称、类型、字段、状态、覆盖率及大小。
管理与优化 Lance 表
将 Lance 表纳入 LAS Catalog 后，可以利用控制台提供的产品化治理能力，对表进行索引加速与存储生命周期优化，在提升查询性能的同时降低对象存储成本。
- 索引管理：根据字段用途创建对应索引，减少查询扫描范围。支持为时间、枚举等标量字段创建 BTree / Zone Map 索引以加速条件过滤；为文本字段创建 FTS 索引以支持关键词全文检索；为向量字段创建IVF_PQ索引以提升高维向量相似度检索性能。详情请参见： 索引管理。
- 小文件合并：频繁的小批量写入会导致小文件数量持续增加，加大表加载与 I/O 开销。Lance 表支持智能模式与定时模式，通过将相邻小文件合并为较大的 Fragment 减少文件数量、提升读取性能。详情请参见： 小文件合并。
- 快照清理：持续的更新与删除操作会累积历史快照版本，占用存储空间。支持智能模式与定时模式，清理过期历史快照及关联文件以降低存储成本。详情请参见： 快照清理。
说明
- 小文件合并与快照清理共用一个智能模式开关，由系统自动调度，无需人工干预。新建 Lance 表仅支持智能模式，此前已开启定时模式的存量表继续按定时模式运行，一旦关闭定时模式，再次开启时只能选择智能模式，无法再回到定时模式。
- 同一张表的小文件合并、快照清理和索引维护任务串行执行，不同表之间可并行执行。
管理索引
- 登录 LAS 控制台，在顶部右上角根据实际情况选择地域，在左侧导航栏选择 湖管理 > 元数据，选择对应的数据库和数据表，进入表详情页面。
- 进入索引管理页面，单击创建索引。
- 在创建索引页面，设置索引名称、字段和类型，然后单击 确认。
-
- 返回索引列表查看构建进度，待状态更新为可用后即可生效。索引构建完成时间取决于数据量和可用计算资源。在构建过程中，系统会持续更新索引状态。完整的索引类型、适用字段、索引状态与增量构建、删除操作，请参见： 索引管理。
-
合并小文件
- 登录 LAS 控制台，在顶部右上角根据实际情况选择地域，在左侧导航栏选择 湖管理 > 元数据，选择对应的数据库和数据表，进入表详情页面，观察文件数统计与增长趋势。
- 切换至 存储优化 页面，在页面顶部横幅中打开 智能模式 开关（该开关同时控制小文件合并与快照清理）。
- 如果页面提示尚未绑定维护计算组，在弹窗中选择可用的 EMR 队列与计算组并完成绑定，具体操作，请参见：计算资源配置。
- 开启后，系统将根据表状态自动调度小文件合并任务。
- 任务完成后，重新查看表详情页中的文件数，确认数量已显著收敛；也可在页面查看合并记录与效果。小文件合并更多详情，请参见：小文件合并。
-
清理快照
- 登录 LAS 控制台，在顶部右上角根据实际情况选择地域，在左侧导航栏选择 湖管理 > 元数据，选择对应的数据库和数据表，进入表详情页面，确认历史版本的累积情况。
- 切换至 存储优化 页面，在页面顶部横幅中打开 智能模式 开关（该开关同时控制小文件合并与快照清理）。
- 如果页面提示尚未绑定维护计算组，在弹窗中选择可用的 EMR 队列与计算组并完成绑定，具体操作，请参见：计算资源配置。
- 确认快照保留策略。系统支持按时间保留和按版本保留，默认均为 14；若需修改，可在执行配置区域单击快照保留版本/时间旁的编辑图标进行调整，支持 1～365 的正整数。
- 开启后，系统将根据版本增量与保留策略自动调度快照清理任务，您可在任务列表中查看调度记录与清理效果。快照清理更多详情，请参见：快照清理。
-
最近更新时间：2026.10.27 14:46:35
这个页面对您有帮助吗？
有用
有用
无用
无用