文档中心

大数据研发治理套件

Lance

配置 Lance 数据源

Lance 是面向分析与向量数据场景的列式数据集格式。DataSail 支持通过 EMR Serverless 的 LAS Catalog 访问 Lance 表，并进行离线批量读取和写入。

1 支持的版本与能力

项目	支持情况
Lance Java 版本	0.39.0
接入方式	EMR Serverless Lance，通过 LAS Catalog 获取表元数据。
离线读取	支持
离线写入	支持 Append、Overwrite、Upsert。
实时读取	不支持
实时写入	当前产品版本不开放。

2 使用限制

子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明详见管理成员信息。
LAS Catalog 中的表参数需标识 table_type=lance。
表存储位置仅支持 tos://、s3://、s3a:// 或 s3n:// 协议，并且 Lance 数据集路径应以 .lance 结尾。
读取任务是有界批量读取，按 Lance Fragment 切分并行度。
Upsert 仅支持离线写入，需配置唯一键；唯一键字段需存在于来源字段和目标表 Schema 中。
DataSail 当前不开放 Lance 实时读写能力。

3 使用前提

3.1 准备 LAS Catalog 和 Lance 表

已开通 EMR Serverless，并在 LAS Catalog 中创建 Catalog、Database 和 Lance 表。相应的创建操作请参见数据目录管理、管理 LAS Catalog 库、管理 Lance 表。
表的存储位置指向当前账号可访问的 TOS 或兼容 S3 协议的对象存储路径。
表元数据中的 table_type 为 lance，且表路径指向有效的 .lance 数据集。

3.2 准备访问权限

用于注册数据源的 Access Key ID 和 Secret Access Key 需要同时具备以下权限：

访问 LAS Catalog、Database 和 Table 元数据的权限。
读取或写入 Lance 表所在 TOS Bucket 和对象的权限。
覆盖或 Upsert 场景所需的对象创建、更新和清理权限。

说明

建议使用最小权限原则创建专用访问凭证。任务资源组还需能够访问对应地域的 LAS 服务和 TOS 内网 Endpoint。

4 支持的字段类型

Lance/Arrow 类型	DataSail 类型	读取	写入
Boolean	Boolean	支持	支持
Int8、UInt8	Byte/Tinyint	支持	支持
Int16、UInt16	Short/Smallint	支持	支持
Int32、UInt32	Int	支持	支持
Int64、UInt64	Long/Bigint	支持	支持
Float32	Float	支持	支持
Float64	Double	支持	支持
Decimal	Decimal(p,s)	支持	支持
Utf8、LargeUtf8	String/Varchar/Char	支持	支持
Binary、LargeBinary	Binary	支持	支持
Date	Date	支持	支持
Timestamp	Timestamp	支持	支持
List	Array	支持	支持
Map	Map	支持	支持
Struct	Row/Struct	支持	支持

说明

复杂类型需保证来源字段结构与目标 Lance Schema 完全兼容。对于 UInt64 等可能超出有符号 Long 范围的值，建议在上线前使用实际数据完成边界验证。

5 注册 Lance 数据源

新建数据源操作详见配置数据源。下面为您介绍火山引擎 Lance 数据源配置的相关信息。

5.1 配置信息填写

Lance 数据源的配置信息如下表所示，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

参数	说明
基本配置
*数据源类型	Lance
*接入方式	自动选择 LAS Catalog。当前仅支持通过 EMR Serverless 的 LAS Catalog 访问 Lance 表。
*数据源名称	数据源的名称，用于在任务中引用该数据源。可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
描述	数据源描述信息，方便识别和管理。
参数配置
*Access Key ID	火山引擎访问控制的密钥管理界面中获取的 Access Key ID。如果为子用户，请联系主账号获取密钥。注意填写的 AK/SK 信息，需拥有以下相应的权限：需要有对应 Lance 库表的读写权限，主账号或数据库 Owner 可前往 LAS Catalog 控制台进行授权操作。详见 LAS Catalog 权限管理。需要有 LAS Catalog 中设置的底层存储路径 TOS Bucket 桶读写权限。存储桶权限策略操作详见桶策略模板及参数说明。
*Secret Access Key	与 Access Key ID 配对的 Secret Access Key，类似登录密码，用于签名您的访问参数，以防被篡改。
Catalog	下拉选择 LAS Catalog 中已创建的 Lance 类型的 Catalog 数据目录名称。填写后在任务中默认使用该 Catalog。
*数据库名	输入上方 AK/SK 信息后，可下拉选择在对应 Catalog 目录中已创建的 Lance 数据库名称。注意数据库中的 Lance 表需提前创建，且表参数中需标识 table_type=lance。

5.2 连通性验证

参数项填写完整后，勾选已绑定的独享集成资源组，并单击上方测试按钮，执行测试连通性。同时，您可展开资源组 ID，查看该资源组所属 VPC 下各子网的网络连通情况，您需确保各子网均能与数据源连通，避免因子网连通问题导致任务执行异常。

注意

数据源与独享集成资源组网络需保证能互通，详见网络连通解决方案。
若当前是多环境项目时，您需进行资源组的生产环境测试、开发环境测试连通性，确保不同环境数据源使用的资源组，网络均能正常连通。
多环境项目中，生产资源组与开发资源组可自定义配置映射关系，您可前往项目控制台 > 环境映射中进行配置，操作详见环境映射。
连接测试通过表示基础身份和服务连通性正常。创建任务后，DataSail 还会校验目标表是否存在、table_type 是否为 lance，以及表存储协议是否受支持。

连通性测试成功后，单击确定按钮，在弹窗中完成可用资源组的选择后，便可完成新增。

6 后续步骤

数据源创建完成后，您可以进行后续的 Lance 集成任务配置，详见配置 Lance 任务。

最近更新时间：2026.07.24 17:40:52

这个页面对您有帮助吗？

有用

无用

大数据研发治理套件

1 支持的版本与能力 #

2 使用限制 #

3 使用前提 #

3.1 准备 LAS Catalog 和 Lance 表 #

3.2 准备访问权限 #

4 支持的字段类型 #

5 注册 Lance 数据源 #

5.1 配置信息填写 #

5.2 连通性验证 #

6 后续步骤 #