LeCun哈佛演讲PPT放出：唱衰自回归LLM，指明下一代AI方向
文章摘要
【关 键 词】 机器学习、AI发展、LLM批评、模块化架构、开源AI
机器学习现状：LeCun指出，尽管机器学习在某些领域取得了显著进展，但与人类和动物相比，机器学习效率低下。例如，人类青少年可以在20小时内学会开车，而机器学习系统需要大量试验和数据才能达到可靠的水平。
AI发展目标：LeCun强调，AI系统应该发展为能够学习、记忆、推理、规划，并具备常识、可控性和安全性的系统。他认为，我们距离实现人类水平的人工智能还有很长的路要走，可能需要几年甚至几十年。
自回归LLM的局限性：LeCun对自回归LLM持批评态度，认为它们存在事实错误、逻辑错误、不一致性、推理能力有限、毒性等问题。此外，这些模型对潜在现实的了解有限，缺乏常识和记忆，也无法进行有效规划。
模块化认知架构：LeCun提出了一个模块化的认知架构，该架构的核心是一个可预测的世界模型，允许系统预测行动后果并规划行动以优化目标。这一架构采用了自监督学习训练的分层联合嵌入预测架构（H-JEPA）。
技术建议：LeCun建议放弃生成模型，转而支持联合嵌入架构；放弃概率模型，支持基于能量的模型（EBM）；放弃对比方法，支持正则化方法；并优先使用模型-预测控制而非强化学习。
开源AI的重要性：LeCun认为，开源AI对于防止技术被少数公司垄断至关重要。同时，为了安全，需要设置共享护栏目标。
对AGI的看法：LeCun表示，他不认为存在一个统一的“通用人工智能”（AGI），因为智能是高度多维的。尽管AI在某些领域已经超越了人类，但机器最终将在所有领域超越人类智慧。
目标驱动的AI：LeCun提出，目标驱动的AI，即自主智能，是一个有前景的发展方向。这种智能包括多个模块，可以根据任务需求进行即时配置。
世界模型的设计：LeCun认为，设计和训练一个可预测的世界模型是实现目标驱动AI的关键。他提出了一系列技术建议，以改进当前的AI模型。
LeCun的演讲提供了对当前AI技术的深刻洞察，并为未来AI的发展方向提供了指导。他的观点强调了在实现真正智能的AI系统方面，我们仍面临的挑战和需要采取的创新方法。
原文和模型
【原文链接】 阅读原文 [ 4181字 | 17分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
相关文章
