结论与延伸阅读

感谢您阅读本系列文章，并祝贺您坚持到了最后。 在结束之前，我们想表达一些谢意：

致谢

这份文档凝聚了 Google DeepMind 许多人的巨大投入，我们想在此对他们表示简要的感谢！

• James Bradbury、Reiner Pope 和 Blake Hechtman 最初提出了手稿中的许多想法，并且是较早从系统角度理解 Transformer 的人。
• Sholto Douglas 编写了本文档的初稿，并负责启动这个项目。他对本文档的整体叙述贡献最大。
• Jacob Austin 领导了将初稿从粗略笔记转变为更精炼、更全面的成果的工作。他完成了本文档大部分的编辑、格式化和发布工作，并协调了其他作者的贡献。
• 大部分图表和动画由 Anselm Levskaya 和 Charlie Chen 制作。
• Charlie Chen 编写了推理部分，并绘制了许多推理部分的图表。
• Roy Frostig 在出版、编辑以及过程中的许多其他环节提供了帮助。

我们还要感谢许多在整个过程中给予关键反馈的其他人，特别是 Zak Stone、Nikhil Sethi、Caitlin Stanton、Alex Dimitriev、Sridhar Lakshmanamurthy、Albert Magyar、Diwakar Gupta、Jeff Dean、Corry Wang、Matt Johnson、Peter Hawkins 等等。感谢 Ruiqi Gao 在 HTML 格式化方面提供的帮助。

谢谢大家！

在您离开之前，您可能也会喜欢阅读关于 NVIDIA GPU 的新第12节！

延伸阅读

这里有一些相关的文章，包括以下内容：

• TPU 深度解析：一篇精彩的文章，本着本书的精神深入探讨了 TPU 架构。
• 从第一性原理让深度学习“跑满”：一个更侧重于 GPU 和 PyTorch 的教程，内容涵盖 LLM Roofline模型和性能工程。
• 使用 Pallas 编写 TPU Kernel：越来越多地，TPU 编程涉及到使用 Pallas 编写自定义 kernel。这个系列讨论了如何编写 kernel 以及许多此处未提及的底层 TPU 细节。
• 如何优化 CUDA Matmul Kernel 以达到类 cuBLAS 的性能：一份工作日志：虽然是针对 GPU 和 CUDA 的，但这篇博文非常出色，展示了如何在 CUDA 中优化 matmul kernel。这可能是深入了解 TPU 和 GPU 区别的好材料。
• 分布式数组和自动并行：这是一份非常好的 JAX 并行性 API 指南，也是学习如何实际实现我们在此讨论的一些想法的好方法。
• Rafi Witten 的 2024 高性能 LLM 课程：我们的前同事 Rafi 开设了一门关于 TPU 性能工程的精彩课程，所有幻灯片都在 GitHub 上。这门课程比我们这里更深入地涵盖了许多内容。
• [2211.05102] 高效扩展 Transformer 推理：一篇关于 Transformer 推理数学原理的详细论文。本文档的很多内容都受到了它的启发。
• Huggingface 超大规模手册：有点像本书的 GPU 版本，它更深入地讨论了 PyTorch 如何在训练期间实现并行技术和内存节省技术。
• Transformer 推理算术：一篇与本书有许多相同观点的博客，并配有一些极佳的插图。
• 斯坦福 CS336 幻灯片和视频：一门非常棒的斯坦福课程，涵盖了 LLM 训练和服务的许多细节，并提供了一些有用的练习。作业1和作业2尤其相关。
• Stas Bekman 的机器学习工程手册：一本非常实用的机器学习基础设施指南，涵盖了本书未涉及的主题，如如何与云服务提供商谈判、集群管理以及 GPU 吞吐量的经验测量。

在这一领域，仍有很大的空间可以进行全面的写作，因此我们希望这份手稿能鼓励更多这样的作品出现！我们也相信这是一个值得学习和研究的富有成果的领域。在许多情况下，即使手头没有很多硬件加速器，也可以进行这项工作。

反馈

请留下您的评论或问题，以便我们进一步改进。您可以通过 jaaustin [at] google [dot] com 联系我们的通讯作者 Jacob Austin，或者通过在 GitHub 上提交 issue、pull request 或 discussion 来建议修改。