文档中心

容器服务

请输入

最佳实践

使用 VCI 运行 Spark 数据处理任务

使用弹性容器实例（VCI）运行 Spark 数据处理任务，可以不受限于容器服务（VKE）集群的节点计算容量，能够按需灵活动态地创建 Pod，有效地降低计算成本。本文主要介绍在 VKE 集群中安装 Spark Operator，并使用 VCI 运行 Spark 数据处理任务的操作。

背景信息

本文将使用 Kubernetes 原生 Spark Operator 方式，介绍使用 VCI 运行 Spark 任务的操作。主要流程如下：

创建集群

连接集群

安装 spark-operator

测试 spark-operator

如果您需要使用更多 VCI 的高级功能，可以通过设置 Annotation（注解）对 VCI 进行参数配置。详情请参见 Pod Annotation 说明。

使用限制

下文主要介绍 VCI 测试并验证通过的实践内容，为了获得符合预期的结果，同时符合 VCI 的使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。

前提条件

本地已安装 kubectl 工具。详细操作，请参见 kubectl 安装指导。

本地已安装 Helm 工具。详细操作，请参见 Helm 安装指导。

创建集群前，需要确保已完成准备工作。详细情况，请参见准备工作。

已开通弹性容器实例。详细操作，请参见 VCI 入门指引。

步骤一：创建 VPC-CNI 容器网络模型的集群

登录容器服务控制台。

在顶部导航栏，选择靠近您业务的地域。

在左侧导航栏单击集群，单击创建集群。

在创建集群对话框，单击自定义托管集群区域下的立即创建。

在创建集群页面，根据配置向导创建完成 VPC-CNI 网络模型的集群。部分参数配置如下所示，其余参数，请参见创建托管集群中的说明，完成配置。

说明

创建集群过程中添加节点时，建议您结合自己业务实际需求和安装运行 Spark Operator 的需求，选择合适的节点规格，保证节点的 vCPU、内存等满足您的业务运行需求。

集群创建需要 15～20 分钟，请在集群列表查看创建进度，并确认集群创建成功。

步骤二：连接集群

在容器服务控制台的集群页面，找到本文上方步骤一中已创建的集群，单击集群名称。

在集群总览页面，单击连接信息页签。

查看公网访问 Config，获取集群访问凭证。

cd .kube
vi config

将获取集群访问凭证信息导入到config文件中，然后按 ESC 键退出编辑，执行:wq命令保存文件。

验证集群是否连接成功。

kubectl get nodes

返回类似如下信息，表示 kubectl 已连接集群。

步骤三：安装 Spark Operator

通过 kubectl 客户端安装 Spark Operator。

创建 serviceaccount。

kubectl create serviceaccount spark
kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default

集群内创建一个名为 spark-operator 的命名空间。

kubectl create namespace spark-operator

安装 Spark Operator。

helm repo add spark-operator https://googlecloudplatform.github.io/spark-on-k8s-operator
helm install my-release spark-operator/spark-operator --namespace spark-operator --set enableBatchScheduler=true --set enableWebhook=true

注意

安装 Spark Operator 时如果出现拉取 spark-operator 镜像失败，可以直接在容器服务控制台目标集群的无状态负载页面，将 spark-operator 命名空间下的 my-release 负载的镜像地址更新为doc-cn-beijing.cr.volces.com/vke/spark:v1beta2-1.3.8-3.1.1，即可正常安装 Spark Operator。

步骤四：使用 VCI 运行 Spark 任务

本示例以创建名为 spark-pi 的无状态负载（Deployment）YAML 文件为例。

在容器服务控制台的集群页面，找到本文上方步骤一中已创建的集群，单击集群名称。

在集群管理页面左侧导航栏选择工作负载 > 无状态负载。

单击使用 Yaml 创建，类型选择自定义，Yaml 处输入下方示例代码，并单击确定。

说明

Git 代码内镜像地址拉取稳定性不高，故将镜像拉取到火山引擎镜像仓库（CR）。本示例可直接使用如下镜像地址：

# Copyright 2017 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
name: spark-pi
namespace: default
spec:
type: Scala
mode: cluster
image: "cr-share-cn-shanghai.cr.volces.com/spark/spark-operator:v3.1.1" #修改了官方地址为火山引擎镜像仓库地址
imagePullPolicy: Always
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.1.1.jar"
sparkVersion: "3.1.1"
restartPolicy:
type: Never
volumes:
- name: "test-volume"
hostPath:
path: "/tmp"
type: Directory
driver:
cores: 1
coreLimit: "1200m"
memory: "512m"
labels:
version: 3.1.1
serviceAccount: spark
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"
executor:
annotations:
vke.volcengine.com/burst-to-vci: enforce #指定 Spark 任务运行在 VCI 上。
cores: 1
instances: 1
memory: "512m"
labels:
version: 3.1.1
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"

执行如下命令，测试验证运行结果。

kubectl get sparkapplication

返回类似如下信息，表示 Spark 任务运行完成。

Spark 任务成功运行后，您可以执行如下命令，获取 Spark 任务详细信息。

kubectl describe sparkapplication spark-pi

预期返回结果：

Name: spark-pi
Namespace: default
Labels: <none>
Annotations: <none>
API Version: sparkoperator.k8s.io/v1beta2
Kind: SparkApplication
Metadata:
Creation Timestamp: 2023-11-27T15:45:20Z
Generation: 1
Resource Version: 24933
UID: ad8fa50c-1d45-4a33-97bd-2c1de4155f7b
Spec:
Driver:
Core Limit: 1200m
Cores: 1
Labels:
Version: 3.1.1
Memory: 512m
Service Account: spark
Volume Mounts:
Mount Path: /tmp
Name: test-volume
Executor:
Annotations:
vke.volcengine.com/burst-to-vci: enforce
Cores: 1
Instances: 1
Labels:
Version: 3.1.1
Memory: 512m
Volume Mounts:
Mount Path: /tmp
Name: test-volume
Image: cr-share-cn-shanghai.cr.volces.com/spark/spark-operator:v3.1.1
Image Pull Policy: Always
Main Application File: local:///opt/spark/examples/jars/spark-examples_2.12-3.1.1.jar
Main Class: org.apache.spark.examples.SparkPi
Mode: cluster
Restart Policy:
Type: Never
Spark Version: 3.1.1
Type: Scala
Volumes:
Host Path:
Path: /tmp
Type: Directory
Name: test-volume
Status:
Application State:
State: COMPLETED
Driver Info:
Pod Name: spark-pi-driver
Web UI Address: 10.234.70.207:0
Web UI Port: 4040
Web UI Service Name: spark-pi-ui-svc
Execution Attempts: 1
Executor State:
spark-pi-4a08948c1174fd43-exec-1: FAILED
Last Submission Attempt Time: 2023-11-27T15:45:23Z
Spark Application Id: spark-aadd883935dd422eb0526412b846c9b1
Submission Attempts: 1
Submission ID: 923c3ed6-50de-4b65-a0e2-7c506b72dd2a
Termination Time: 2023-11-27T15:48:10Z
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SparkApplicationAdded 18m spark-operator SparkApplication spark-pi was added, enqueuing it for submission
Normal SparkApplicationSubmitted 18m spark-operator SparkApplication spark-pi was submitted successfully
Normal SparkDriverRunning 18m spark-operator Driver spark-pi-driver is running
Normal SparkExecutorPending 18m spark-operator Executor [spark-pi-4a08948c1174fd43-exec-1] is pending
Normal SparkExecutorRunning 16m spark-operator Executor [spark-pi-4a08948c1174fd43-exec-1] is running
Normal SparkDriverCompleted 16m spark-operator Driver spark-pi-driver completed
Normal SparkApplicationCompleted 16m spark-operator SparkApplication spark-pi completed
Warning SparkExecutorFailed 15m spark-operator Executor [spark-pi-4a08948c1174fd43-exec-1 %!s(int=-1) Unknown (Container not Found)] failed with ExitCode: %!d(MISSING), Reason: %!s(MISSING)

Spark 任务日志收集

可通过火山引擎日志服务采集弹性容器 VCI 日志。更多信息，请参见采集 VCI 容器日志。

使用镜像缓存

Spark 镜像如果较大（2GB 以上），则拉取需要较长时间，您可以通过 ImageCache 加速镜像拉取。更多信息，请参见镜像缓存。

最近更新时间：2026.03.13 10:40:55

这个页面对您有帮助吗？

有用

无用