EMR Serverless 队列支持 mGPU，实现单张 GPU卡 的资源共享，灵活分配算力核心与显存资源并严格隔离。本文为您介绍 mGPU 资源的开通方式和使用方式。

• 只能在创建队列时选择是否开启 mGPU，开启后，计算引擎使用 mGPU 资源；若不开启，计算引擎使用整个 GPU 实例资源。
• 一张 GPU卡 上最多可创建 16 个 mGPU Executor/Worker。 计算性能会随 mGPU 的创建数量衰减，建议按照业务要求规划引擎 Executor/Worker 数量。
• mGPU 设置的最小显存为：256 MiB，最小core为：5。

• mGPU 是火山引擎基于内核虚拟化隔离 GPU 并结合自研调度框架提供的容器共享 GPU 方案，通过内核虚拟化技术，实现单张 GPU卡 的资源共享，灵活分配算力核心与现存资源并严格隔离。
• 开启 mGPU 后，队列中的作业可直接指定调用单张 GPU卡 的部分核心与显存，在小模型场景下，能显著降低使用成本，提升资源利用率。
• 在 EMR Serverless GPU 队列上，支持 Ray/CustomJob 两种引擎使用mGPU，您可以在不改动引擎业务代码的情况下直接使用 mGPU 在多个 作业/Pod 间共享 GPU 资源。

开通 mGPU #

在 EMR Serverless 创建队列界面，选择 GPU 资源配置后，您可以选择开启mGPU，创建后队列则使用 mGPU 资源。

引擎使用 mGPU 资源 #

相关参数 #

mGPU 相关参数见下表，详细 GPU 参数请参见 EMR Serverless GPU 参数说明。

CustomJob #

在 default 计算组，可以额外设置如下参数:

-- 设置mgu相关参数
emr.serverless.mgpu.core=30;
emr.serverless.mgpu.memory=1000;

-- 设置历史的GPU参数，在开启mgpu队列的情况默认使用整卡
-- 等同于 emr.serverless.mgpu.core=100
serverless.custom.job.task.gpus=1; 

设置后，每个 CustomJob 的 Task 会挂载一张 GPU卡 ，并仅使用其30%的算力和1000 MiB 的显存。

RayJob #

在 default 计算组，可以额外设置如下参数：

-- mgpu相关参数
serverless.ray.worker.mgpu.core=30;
serverless.ray.worker.mgpu.memory=4096;

-- 设置历史的GPU参数，在开启mgpu队列的情况默认使用整卡
-- 等同于 serverless.ray.worker.mgpu.core;
serverless.ray.worker.gpu.amount=1;

设置后，每个Ray Worker都会挂载一张 GPU卡 ，但每个 Worker 只使用30%的 GPU卡 算力和 4096 MiB 的显存。同时能在 Ray dashborad 里看到 Worker 有1张 GPU卡 资源：

RayCluster / RayServe #

在 Ray Cluster/ Ray Serve 中，可以通过界面设置 Worker / Head 所需的mGPU core 和 memory。

当设置大于等于100后，代表使用整张卡算力，只能设置100的整数倍，例如 200，代表挂载2张完整的 GPU卡 算力。

在 EMR控制台>队列详情>队列监控>GPU资源 处，可以看到当前队列的 mGPU Core 和 Memory 使用情况。

若设置 mGPU 参数后，作业无法启动，请检查 mGPU core和 mGPU memory数值是否符合要求：

• 当设置 mGPU core 不超过单张 GPU卡 算力时：范围为5～100。
• 当 mGPU core 设置大于等于100后，只能设置100的整数倍。
• mGPU core 设置大于等于100后，不允许设置 mGPU memory。