CUDA内核之神、全球最强GPU程序员？OpenAI的这位幕后大神是谁

AIGC动态5小时前发布 almosthuman2014

53 0 0

文章摘要

在AI领域，聚光灯往往聚焦于明星人物，但幕后工程师的关键贡献同样不可忽视。OpenAI资深工程师Scott Gray因其卓越的GPU编程能力成为近期焦点。他编写的CUDA Kernel支撑了OpenAI每日数万亿次的计算量，展现了底层性能优化的巨大价值。这一成就凸显了同时精通并行计算、GPU架构和深度学习算法的稀缺性。

Scott Gray的职业轨迹体现了对硬件极限的执着追求。在Nervana Systems时期，他开发了maxas汇编器，通过直接编写SASS机器码，实现了对硬件资源的绝对控制。其手写的SGEMM内核计算效率达到硬件理论峰值的98%，甚至超越NVIDIA官方的cuBLAS库4.8%。随后开发的maxDNN卷积库，在AlexNet模型上实现了93-95%的计算效率，远超cuDNN的32-57%。这些突破为他赢得了”性能优化大师”的声誉。

加入OpenAI后，Gray的工作重心转向支持新型架构开发。他编写的块稀疏GPU内核比传统稠密矩阵处理快几个数量级，使研究人员能够构建参数量更大的模型。这些创新支撑了GPT-3、GPT-4等里程碑模型的训练，将Scaling Laws理论转化为工程现实。开源的块稀疏内核更推动了整个AI社区的算法创新。

Gray的成就证明，深入硬件底层的极致优化能够突破软件抽象层的性能天花板。从maxas到块稀疏内核，他始终保持着对计算效率的不懈追求。这种专注于底层性能工程的路径，为AI系统的高效运行提供了关键支持，展现了技术深度在AI发展中的核心价值。