文档中心

GPU云服务器

最佳实践

GPU性能计算器

GPU性能计算器是一个模型性能估算工具，旨在构建AI模型在不同GPU卡型和不同机型上的快速性能评估能力，可自动化计算出特定模型在特定卡型上的预估训练/推理性能数据，提供性能数据来辅助判断选型。

使用场景

对于需要搭建大规模计算集群的企业，如人工智能研究实验室、数据中心等，使用GPU性能计算器可以帮助预估不同GPU卡型在其特定工作负载下的性能表现，从而根据预算和性能需求做出合理的采购决策。

使用地址

GPU性能计算器使用地址：GPU性能计算器。

使用说明

当前工具支持训练性能预估和推理性能预估，使用方法类似，均需填写模型结构和机型配置的相关参数，即可输出相应的性能预估数据。

训练性能预估

推理性能预估

在GPU性能计算器的训练性能预估页签下，输入模型参数和机型配置的相关信息，即可获得针对该模型和机型的推荐训练参数、单卡显存占用情况、训练时长数据以及基于不同实例的性能信息。

参数	说明
输入
模型配置	模型配置中预先存入了“Megatron-GPT3-175B”模型的相关参数。如果想要自行输入其他模型，修改相关参数即可自定义模型。
机型规格	机型规格中已经预先存入了以下实例规格的配置参数，同时支持手动填写部分参数。如果有其他机型需要评估，请选择“自定义机型”并根据实例配置填写相关参数即可。 ecs.gni3cg.45xlarge ecs.ebmhpcpni2l.32xlarge ecs.ebmhpcpni3l.47xlarge
训练参数	单击“推荐训练参数设置”按钮，即可根据已选择的模型结构和机型配置输出推荐的训练参数（其中，micro_batch_size推荐设置为1）。您也可以根据实际情况自行输入相关参数。
输出	单击“开始计算”按钮，即可得到以下计算结果。
显存占用计算	即各参数对显存容量的占用情况评估。
训练时间计算	模型训练中各部分的时间占比情况，并预估训练耗时。
吞吐量	吞吐量部分输出基于GPU性能计算器中提供的不同GPU卡型的性能数据。

最近更新时间：2025.06.05 10:35:26

这个页面对您有帮助吗？

有用

无用

参数配置	说明
输入
机型配置	机型配置中已经预先存入了以下实例规格的配置参数，同时支持手动填写相关参数。如果有其他机型需要评估，请在“机型规格”中选择“自定义机型@自定义机型”并根据实例配置填写相关参数即可。 ecs.gni3cg.45xlarge ecs.ebmhpcpni2l.32xlarge ecs.ebmhpcpni3l.47xlarge
模型参数配置	模型结构中已预先存入了“DeepSeek-R1-Distill-Qwen-7B”模型的相关参数。如果想要自行输入其他模型，修改相关参数即可自定义模型。
推理任务配置	推理任务配置中设置了推荐的训练参数，您也可以根据实际情况自行输入相关参数。
输出	单击“开始计算”按钮，即可得到以下结果。
预估性能、每轮推理时延	将根据输入的模型结构和机型配置输出推理整体的预估时间（包含吞吐、时延和耗时）、每次迭代的推理耗时折线图、显存占用预估以及吞吐量。
显存占用预估	将根据输入的模型结构和机型配置输出预计的显存占用。
吞吐量	吞吐量部分输出基于GPU性能计算器中提供的不同GPU卡型的性能数据。