Serverless Spark 访问 Kerberos 集群是指在无服务器 Spark 环境中安全访问受 Kerberos 认证保护的集群，解决了无服务器场景下访问安全集群的需求，适用于处理 Kerberos 认证的 HDFS 或 Hive 数据等场景。本文将引导完成配置与使用步骤。

• 已创建 EMR on ECS 集群，并开启 Kerberos 认证。详细操作请参考：使用 Kerberos 认证集群。
• 已创建 EMR Serverless 独占队列，且拥有该队列的操作权限。
• 已开通对象存储 TOS 。

1. 仅支持在独占队列的 default 计算组下访问 Kerberos 集群。
2. 系统仅支持 Serverless Spark 访问存算分离的 Kerberos 集群，且不支持 Spark Streaming 作业访问。
3. 单个 Serverless 队列仅支持访问一个 Kerberos 集群。
4. 访问 Kerberos 认证集群的 Spark 作业中，Driver 无法使用队列的弹性资源，仅 Executor 可正常调度弹性资源。由于 Driver 是作业启动的前置依赖（需先占用资源完成初始化），因此必须保证 default 计算组下有可用的固定资源，以支撑 Driver 启动及后续作业执行。

配置外部 HMS #

1. 登录 EMR Serverless 控制台，点击队列名称，进入队列详情页面。
2. 依次点击左侧导航栏中的计算组 > default，进入计算组详情页面。
3. 在元数据与网络连接标签页中点击更改配置。配置说明参考如下：

4. 配置完成点击保存，可点击右下方测试连接，查看连接是否成功。

Kerberos 认证参数配置 #

登录集群，通过vim /etc/krb5.conf 命令查看krb5.conf文件，将文件内容复制到 在队列详情 > Kerberos 认证配置页面的配置框中。

示例

[libdefaults]
        default_realm = xxxxxxxxxxxxxxxxxx.EMR.COM
        udp_preference_limit = 4096
        ticket_lifetime = 24h
        renew_lifetime = 7d
        forwardable = true
        rdns = false
        dns_lookup_realm = false
        dns_lookup_kdc = false
        kdc_timeout = 3s
        max_retries = 2

    [realms]
        xxxxxxxxxxxxxxxxxx.EMR.COM = {
            kdc = 192.168.1.36:88
            kdc = 192.168.1.36:88
            admin_server = master-1-1.*****
        }

     [domain_realm]
      .xxxxxxxxxxxxxxxxxx.EMR.COM = xxxxxxxxxxxxxxxxxx.EMR.COM
      xxxxxxxxxxxxxxxxxx.EMR.COM = xxxxxxxxxxxxxxxxxx.EMR.COM

场景1：提交 Spark 任务 #

-- 关闭外部元数据访问和跨vpc访问
set emr.serverless.external.catalog=false;
set las.cross.vpc.access.enabled=false;

SparkSQL #

访问 Kerberos 需指定如下参数：

-- 指定访问kerberos使用的principal，格式必须为 <username>@<REALM>
set spark.kerberos.principal=username@A873A71EE5D115874738.EMR.COM;
-- 对应用户的keytab文件的tos路径，需要提前上传到账号的tos下
set serverless.spark.kerberos.keytab.path=tos://nyc-fns/xxxxx.keytab;
-- sparksql添加，sparkjar不需要
set tqs.query.engine.type = sparkcli;
-- 开启hms的kerberos认证
set spark.hive.metastore.sasl.enabled=true;
-- 格式为 hive/_HOST@<REALM>，前面部分无需修改，替换自身 kerberos 集群的<REALM>即可
set spark.hive.metastore.kerberos.principal=hive/_HOST@A873A71EE5D115874738.EMR.COM; 
-- 只打开 spark driver 的跨vpc访问，避免大任务消耗大量的子网ip
set serverless.cross.vpc.driver.only.enabled = true;
set serverless.cross.vpc.dns.resolve.enabled = true;

读取表

示例

set spark.kerberos.principal=<user>@<REALM>;-- 指定访问kerberos使用的principal，格式必须为 <username>@<REALM>
set serverless.spark.kerberos.keytab.path=tos://bucketname/<user>.keytab;-- 对应用户的keytab文件的TOS路径，需提前生成keytab文件并上传到账号的TOS下
-- 只打开 spark driver 的跨vpc访问，避免大任务消耗大量的子网ip
set serverless.cross.vpc.driver.only.enabled = true;
set serverless.cross.vpc.dns.resolve.enabled = true;
set tqs.query.engine.type = sparkcli;-- sparksql添加，sparkjar不需要
set spark.hive.metastore.sasl.enabled=true;
set spark.hive.metastore.kerberos.principal=hive/_HOST@<REALM>;-- 格式为 hive/_HOST@<REALM>，前面部分无需修改，替换自身 kerberos 集群的<REALM>即可

show tables; --查看当前数据库下的所有表
show create table xxx;--查看指定表
select * from xxx limit 10;--查询指定表的前10条数据

写入表

示例

-- 定义 Spark SQL 的默认数据仓库目录TOS路径，用于存储托管表（Managed Tables）的数据文件
set spark.sql.warehouse.dir=tos://bucketname/managed;
-- 上述必须添加的参数
set spark.kerberos.principal=<user>@<REALM>;-- 指定访问kerberos使用的principal，格式必须为 <username>@<REALM>
set serverless.spark.kerberos.keytab.path=tos://bucketname/<user>.keytab;-- 对应用户的keytab文件的TOS路径，需要提前上传到账号的TOS下
-- 只打开 spark driver 的跨vpc访问，避免大任务消耗大量的子网ip
set serverless.cross.vpc.driver.only.enabled = true;
set serverless.cross.vpc.dns.resolve.enabled = true;
set tqs.query.engine.type = sparkcli;-- sparksql添加，sparkjar不需要
set spark.hive.metastore.sasl.enabled=true;
set spark.hive.metastore.kerberos.principal=hive/_HOST@<REALM>;-- 格式为 hive/_HOST@<REALM>，前面部分无需修改，替换自身 kerberos 集群的<REALM>即可

create table if not exists serverless.employees_serverless as select * from employees;--创建托管表（若不存在），并从源表（employees）插入数据

读取外部 Catalog 并写入表

-- 定义 Spark SQL 的默认数据仓库目录TOS路径，用于存储托管表（Managed Tables）的数据文件
set spark.sql.warehouse.dir=tos://bucketname/managed;
-- 上述必须添加的参数
set spark.kerberos.principal=<user>@<REALM>;
set serverless.spark.kerberos.keytab.path=tos://bucketname/<user>.keytab;
set serverless.cross.vpc.driver.only.enabled = true;
set serverless.cross.vpc.dns.resolve.enabled = true;
set tqs.query.engine.type = sparkcli;
set spark.hive.metastore.sasl.enabled=true;
set spark.hive.metastore.kerberos.principal=hive/_HOST@<REALM>;

-- paimon catalog
set spark.sql.catalog.paimon_catalog=org.apache.paimon.spark.SparkCatalog;
set spark.sql.catalog.paimon_catalog.warehouse=tos://paimon-emr-test/user/paimon/warehouse/;
set spark.sql.storeAssignmentPolicy=ansi;

create table serverless.test as select * from paimon_catalog.paimon_db.veh_2k where dt = '20251117';

SparkJar #

参照 SparkJar 作业，将 Kerberos 相关配置填写到 Spark 参数（Spark Conf）中即可正常访问。

场景2：连接 Kyuubi Gateway 提交作业 #

创建 keytab 文件 #

1. 进入 kerberos 所在集群的机器执行以下命令，进入 Kerberos 的 admin.local 工具。

   kadmin.local
   

2. 创建 principal，principal的格式为kyuubi/<fqdn>@<REALM>。其中 <fqdn> 域名可自定义。

   addprinc -randkey kyuubi/serverless-spark-jdbc.emr.cn-beijing.volces.com@E159E9BE5E120****.EMR.COM
   

3. 导出 keytab 文件。

   xst -k /etc/krb5/keytab/serv/kyuubi.keytab kyuubi/serverless-spark-jdbc.emr.cn-beijing.volces.com@E159E9BE5E120****.EMR.COM
   

4. 将导出的 keytab 文件上传到 TOS。

   hdfs dfs -put /etc/krb5/keytab/serv/kyuubi.keytab tos://emr-autotest/azmn/kyuubi/
   

创建 Gateway 并配置 kerberos 相关参数 #

创建并连接 Gateway 的通用操作指导请参见 创建与管理 Kyuubi Gateway，以下为您介绍开启 Kerberos 场景下的核心配置参数要点。

1. 元数据选择外部 HMS。

2. 将 Kerberos 相关参数配置到 Gateway 的引擎配置中。
   
   配置示例如下。

   kyuubi.authentication=KERBEROS,custom
   kyuubi.kinit.principal=kyuubi/serverless-spark-jdbc.emr.cn-beijing.volces.com@E159E9BE5E120CAC4ECA.EMR.COM
   kyuubi.kinit.keytab=tos://emr-autotest/azmn/kyuubi/kyuubi.keytab
   hadoop.security.authentication=kerberos
   hive.metastore.sasl.enabled=true
   hive.metastore.kerberos.principal=hive/_HOST@E159E9BE5E120CAC4ECA.EMR.COM
   

   您需根据您的情况修改以下参数，其他参数保持与示例值一致即可。

   参数	配置说明
   kyuubi.kinit.principal	指定 Kyuubi Gateway 用于 Kerberos 认证的主体（Principal），格式为 <user>/<host>@<realm>，需配置为上述”创建 keytab 文件”步骤中已创建的 principal。
   kyuubi.kinit.keytab	keytab 文件上传的 TOS 路径。
   hive.metastore.kerberos.principal	Kerberos 环境下 HMS 对应的 principal。

连接 Kyuubi 并提交作业 #

以下以使用 Beeline 连接 Kyuubi 为例。

1. 执行 kinit 命令进行初始化。

2. 连接 Kyuubi 并提交作业。

   beeline -u "jdbc:hive2://192.168.**.1**:10009/;principal=kyuubi/serverless-spark-jdbc.emr.cn-beijing.volces.com@E159E9BE5E120CAC4ECA.EMR.COM?kyuubi.session.iam.credential.ak=AKLTNGExZjEyMWVlMGQ2NDllOGI2ZDE4M2Y5****;kyuubi.session.iam.credential.sk=TVRWaE5UUXlZVFZoWVdZNU5ESm1NV0U1TURZME9EUTFOalk1Tl****;queue_name=doctest;kyuubi.engine.share.level=connection"
   

   其中：

   参数	配置说明
   -u	需配置为 Kyuubi Gateway 服务的 Endpoint（含端口号），您可在对应 Gateway 的详情页面获取 Endpoint 信息。
   principal	指定 Kyuubi Gateway 用于 Kerberos 认证的主体（Principal），格式为 <user>/<host>@<realm>，需配置为上述”创建 keytab 文件”步骤中已创建的 principal。
   kyuubi.session.iam.credential.ak、kyuubi.session.iam.credential.sk	用于认证的火山引擎 IAM 账号 AK、SK信息。
   queue_name	作业运行的队列/计算组资源名称。

   连接 Kyuubi 后，即可提交作业。