字节跳动与英伟达、加州大学河滨分校联合发表的论文 《ByteTransformer: A High\-Performance Transformer Boosted for Variable\-Length Inputs》在第37届IEEE国际并行和分布式处理大会（IPDPS 2023）中，从396篇投稿中脱颖而出，荣获《IPDPS 2023 最佳论文奖》。

<span>![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_5ef7b95feb8e752031dca078a0bfd417.png) </span>获奖证书

论文提出了字节跳动的GPU transformer推理库——ByteTransformer。


1. 针对自然语言处理常见的可变长输入，论文提出了一套优化算法，这些算法在保证运算正确性的前提下，成功避免了传统实现中的冗余运算，实现了端到端的推理过程的大幅优化；

2. 论文中手动调优了Transformer中的multi\-head attention, layer normalization, activation等核心算子，将ByteTransformer的推理性提升至业界领先水平；

3. 与PyTorch,TensorFlow,NVIDIA FasterTransformer,Microsoft DeepSpeed\-Inference等知名的深度学习库相比，ByteTransformer在可变长输入下最高实现131%的加速。论文代码已开源。

   论文地址：[https://arxiv.org/abs/2210.03052](https://arxiv.org/abs/2210.03052)


IPDPS: 并行和分布式计算方向计算机系统领域的旗舰会议。该会议专注于分享并讨论并行计算、分布式计算、大规模数据处理以及高性能计算等相关领域的最新研究进展。参与的专家学者来自世界各地的顶尖研究机构和企业，共同探讨该领域的创新发展和前沿技术。

代码地址：[https://github.com/bytedance/ByteTransformer](https://github.com/bytedance/ByteTransformer)

ByteTransformer是一种高效的Transformer实现，它通过一系列优化手段，实现了在BERT Transformer上的高性能表现。对于变长文本输入，相比其他Transformer实现，ByteTransformer具有明显的优势，实验中平均加速可达50%以上。适用于加速自然语言处理任务，提高模型训练与推理的效率。同时，ByteTransformer也为其他研究者提供了一种高效的Transformer实现方式，其优化手段和性能表现对于实际应用具有重要意义。

此次获奖论文，主要由火山引擎机器学习平台技术团队参与编写，火山引擎机器学习平台为抖音/今日头条/西瓜视频等业务提供推荐、广告、CV、语音、NLP的训练和推理系统；同时，火山引擎也将机器学习和推荐系统的核心能力提供给外部企业客户。