游戏教父 John Carmack：LLM 不是游戏的未来

51 0 0

文章摘要

John Carmack作为游戏开发领域的先驱，回顾了自己在Id Software、Armadillo Aerospace、Oculus和Keen Technologies的职业生涯，并分享了他对人工智能和强化学习的深刻见解。他强调了《雷神之锤》对GPU发展的推动作用，以及其在现代人工智能世界中的间接影响。Carmack指出，尽管大型语言模型（LLM）取得了显著成就，但他更倾向于通过交互式体验流进行学习，这与LLM的预训练方法截然不同。他质疑LLM在未见过的环境中的表现，认为这种方法可能极其低效。

Carmack详细探讨了游戏与强化学习的关系，特别是Atari游戏在人工智能研究中的应用。他提到，DeepMind的Atari项目展示了模型通过图像学习游戏的能力，但也指出其局限性，如需要大量经验帧才能接近人类水平。他强调了游戏玩法的多样性和商业游戏的优势，认为它们不受研究人员的偏见影响。Carmack还讨论了Atari游戏中的技术挑战，如精灵闪烁、确定性行为的利用风险，以及分数读取的复杂性。

在强化学习方面，Carmack提出了多个关键问题，包括单一环境与多环境训练的差异、动作延迟的影响，以及离线强化学习的困难。他强调了速度在强化学习中的重要性，并指出现代高性能算法在动作延迟下的脆弱性。Carmack还探讨了迁移学习、神经网络的可塑性与泛化，以及探索策略的优化。他提出了新的基准测试建议，以评估智能体在多个游戏中的表现，并强调了函数近似在强化学习中的核心作用。

最后，Carmack分享了他对Atari开发工具箱的见解，包括摄像头观察、操纵杆动作、分数和生命值检测等技术细节。他强调了稀疏奖励和好奇心驱动学习的重要性，并讨论了硬探索游戏的挑战。Carmack还提出了元好奇心的概念，探讨了智能体在多任务学习中的表现，以及如何避免灾难性遗忘。他总结道，尽管Atari游戏在人工智能研究中具有重要地位，但仍有许多未解决的问题需要进一步探索。