Kyuubi Gateway 通过提供 JDBC 接口，支持对接 SQL 查询和 BI 工具，实现高效的数据访问与分析。本文为您介绍在队列中创建及管理 Kyuubi Gateway 的操作要点及使用指导。

• 创建与使用 Kyuubi Gateway 时，会占用队列资源：
  • 在某个队列中创建 Kyuubi Gateway 时，会占用一部分当前队列的资源，用于 Kyuubi Server 部署，您需要保障创建 Kyuubi Gateway 时，当前队列中至少有 1 节点（4 vCPU 16 GiBMem）的连续物理资源。
  • 创建完成后，后续通过 Kyuubi Gateway 提交作业时，将占用队列资源来运行作业，您可以灵活指定作业运行在哪个队列/计算组中。
• 当前创建 Kyuubi Gateway 后，部署的 Kyuubi 服务版本为 1.8.1，对应版本的功能详情请参见Kyuubi 帮助文档。

创建 Kyuubi Gateway #

1. 登录并进入 EMR 控制台，在左侧导航栏单击 资源管理 > Serverless，进入队列资源列表，单击待创建 Gateway 的队列名称，进入队列详情页面。
2. 在对应队列的左侧导航栏单击 Gateway 管理，在 Gateway 管理 页面的右上角单击 创建 Kyuubi Gateway。
   
3. 在新进入的页面中配置创建 Kyuubi Gateway 的参数。

   1. 配置 Gateway 名称并分配部署资源。
      

      参数	配置说明
      Gateway 名称	自定义当前创建的 Kyuubi Gateway 服务名称。仅支持小写字母、数字、短划线（-），并且开头和结尾必须是字母或者数字。
      资源配置	在下拉框中选择分配用于部署当前 Kyuubi Gateway 服务的队列资源。
      服务高可用	选择是否需要开启高可用配置。开启后，您可选择 Kyuubi Server 部署数量。

   2. 配置元数据与网络。
      

      参数	配置说明
      VPC 及子网、安全组	在下拉框中选择当前部署的 Kyuubi Gateway 服务的 VPC 网络环境及子网、安全组。 说明 选择 VPC 后，后续部署 Kyuubi Gateway 服务时，会为您自动生成对应内网的 Endpoint 地址，用于 JDBC 连接。 如果您希望基于公网 IP 来连接，需要在服务创建部署完成后，手动绑定公网 IP，操作可参见下文的绑定公网 IP。开启公网有安全风险，请谨慎操作。
      元数据	您可选择连接 LAS Catalog 或对接外部 HMS 服务。 对接 外部 HMS 服务时，您需要： 选择与外部 HMS 服务所在 ECS 一致的 VPC 及 子网、安全组，保障网络联通性。 您需要在下方的 引擎配置 中，将相关 HMS 参数配置为 Spark 参数。 详情可参见下文的示例3：外部 HMS-非 Kerberos 集群并使用 Ranger 鉴权。

   3. 引擎配置。支持通过 Key-Value 形式将 Kyuubi 参数、Spark 参数配置在此处，便于后续提交作业时直接引用。
      

      • 支持大部分开源的 Spark 参数，对应参数的说明请参见：Spark 参数说明。
      • 支持大部分开源的的 Kyuubi 参数如下，对应参数的说明请参见：Kyuubi 参数说明。
4. 完成上述参数配置后，单击右下角的“创建”按钮，开始创建并部署 Kyuubi Gateway 服务。

启停 Kyuubi Gateway #

创建完成 Kyuubi Gateway 后，您可以在页面中查看服务列表。

• 新创建的服务默认为“已停止”状态，您需单击“启动”按钮，将服务启动后，后续才可使用。
  • 服务启动后，状态将变更为”启动中“，当状态变更为”运行中“则代表服务已正常启动。
  • 服务启动需要一定时间，请您耐心等待。
• 已启动的服务也支持单击”停止“按钮手动停止服务。

查看与修改 Kyuubi Gateway #

查看 Gateway 详情 #

在已创建的 Kyuubi Gateway 服务列表页面，单击对应服务名称，即可进入服务详情页面。

• 在 Gateway 详情 页面，您可以查看当前 Gateway 服务的Endpoint、资源、元数据等配置详情。
• 单击 更改配置 按钮也可修改对应配置参数的取值。

绑定公网 IP #

部署 Kyuubi Gateway 服务时，会为您自动生成对应内网的 Endpoint 地址，用于 JDBC 连接。如果您希望基于公网 IP 来连接，您可以在元数据与网络的配置块单击 更改配置，手动绑定公网 IP。

• 您可按需打开 公网 IP的开关，在下方公网 IP列表中选择需要绑定的公网IP
• 您也可以创建新的公网 IP 来进行绑定。

通用连接参数说明 #

在连接Kyuubi Gateway时，请根据您的实际情况替换JDBC URL中的信息：

• <endpoint>：您在 Gateway 详情中获取的 Endpoint 信息（含端口号）。
• <queue_name>：提交作业后，作业运行使用的队列/计算组名称。配置的格式要求为：
  queue_name=${queueName}-${warehouseName}
  其中：
  • warehouseName：必须是通用计算组。
  • 如果只写了queueName，没有写后面的 warehouseName，默认会用 Default 计算组。
  • 如果 queueName 也没写，默认走公共队列。
• kyuubi.session.spark.bolt.enabled：设置是否开启 Bolt。
• kyuubi.session.spark.version：设置Spark 版本，支持设置为 3.5、4.1两个版本。
• JDBC 连接时认证的账号 AK、SK信息。

示例1：使用 Beeline 连接 #

在连接 Kyuubi Gateway 时，请确保您使用的 Beeline 版本与 Kyuubi 服务端（1.8.1）版本兼容。如果您未安装Beeline，详情请参见Getting Started - Apache Kyuubi。

beeline -u "jdbc:hive2://192.**.**.**:10009/;?queue_name=公共队列;kyuubi.session.spark.bolt.enabled=true;kyuubi.engine.share.level=connection" -n AK******* -p TXpr********

示例2：设置 Spark 版本/Bolt #

• 创建 GateWay 的参数配置要求：
  您可以在创建 Gateway 时，在 引擎配置 中通过设置kyuubi.session.spark.bolt.enabled、kyuubi.session.spark.version（支持设置为 3.5、4.1两个版本）参数，来设置是否开启 Bolt、Spark 版本。
• 连接示例。设置完成后，可连接 Kyuubi 并提交作业，示例如下。

  beeline -u "jdbc:hive2://192.**.**.**:10009/;?queue_name=公共队列;;kyuubi.session.spark.bolt.enabled=true;kyuubi.session.spark.version=4.1;kyuubi.engine.share.level=connection" -n AK******* -p TXpr********
  

示例3：外部 HMS-非 Kerberos 集群并使用 Ranger 鉴权 #

• 创建 GateWay 的参数配置要求：

  • 需要在创建 Gateway 时，网络配置选择与 ECS 集群一致的 VPC及子网、安全组，元数据设置为外部 HMS。
  • 在 引擎配置 中设置 Ranger 相关参数值，概要示例如下。

    spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension
    spark.ranger.plugin.spark.policy.rest.url=http://master-1-1.emr-a8a944804377d6d***.offline-cn-beijing.emr-volces.com:6080
    spark.ranger.plugin.spark.service.name=default_hive
    spark.ranger.plugin.spark.policy.cache.dir=/etc/ranger/default_hive/policycache
    spark.ranger.plugin.spark.policy.pollIntervalMs=5000
    spark.ranger.plugin.spark.policy.source.impl=org.apache.ranger.admin.client.RangerAdminRESTClient
    spark.xasecure.audit.is.enable=true
    spark.xasecure.audit.destination.elasticsearch=true
    spark.xasecure.audit.destination.elasticsearch.password=wz6TqekVGn***
    spark.xasecure.audit.destination.elasticsearch.port=9200
    spark.xasecure.audit.destination.elasticsearch.protocol=http
    spark.xasecure.audit.destination.elasticsearch.urls=opensearch.emr.dp.com
    spark.xasecure.audit.destination.elasticsearch.user=emr-a8a944804377d6d***
    spark.xasecure.audit.destination.elasticsearch.index=ranger_audits_a8a944804377d6***
    

• 连接示例。设置完成后，可连接 Kyuubi 并提交作业，其中：

  • hive.server2.proxy.user：用来指定要鉴权的代理用户，连接示例如下。

  beeline -u "jdbc:hive2://192.**.**.**:10009/;?queue_name=公共队列;kyuubi.engine.share.level=connection;hive.server2.proxy.user=hive" -n AK******* -p TXpr********
  

示例4：外部 HMS-开启 Kerberos #

详情请参见场景2：连接 Kyuubi Gateway 提交作业。

连接 Kyuubi Gateway 后，您可查看通过 JDBC 连接当前 Kyuubi Gateway 服务的所有应用列表。

• 在应用列表页面，您可看到各应用的状态、运行时间、作业运行消耗的资源、Spark UI详情链接等。
• 单击对应应用名称，可查看应用的详细信息和 Driver 日志详情。