标签：语言模型
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
扩散建模与自回归方法的融合在语言模型领域取得突破性进展。康奈尔大学、CMU等机构的研究团队提出新型混合框架Eso-LM，首次实现并行生成与KV缓存机制的兼容，...
“多模态方法无法实现AGI”
生成式人工智能模型的成功让一些人相信人工通用智能（AGI）即将到来，但这些模型并未真正捕捉到人类智能的本质。它们之所以出现，主要是因为它们能够有效地扩...
LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？
近期，关于AI自我演进的研究和讨论逐渐增多，多个机构提出了不同的自我改进框架。例如，Sakana AI与不列颠哥伦比亚大学合作的「达尔文-哥德尔机（DGM）」、CM...
「Next-Token」范式改变！刚刚，强化学习预训练来了
在人工智能领域，强化学习（RL）长期以来被视为提升模型能力的辅助工具，而非核心方法。然而，近年来，强化学习在提升大语言模型（LLMs）能力方面的作用逐渐...
大模型是「躲在洞穴里」观察世界？ 强化学习大佬「吹哨」提醒LLM致命缺点
加州大学伯克利分校副教授Sergey Levine近期提出一个核心疑问：为何语言模型通过预测下一个token能获得强大认知能力，而视频模型通过下一帧预测却收效甚微。...
为什么用错奖励，模型也能提分？新研究：模型学的不是新知识，是思维
语言模型对强化学习中的奖励噪音表现出显著的鲁棒性，即使奖励信号被部分翻转，模型在下游任务中的表现也不会显著下降。研究者发现，强化学习对下游任务的提...
印度国家级大模型上线两天仅 300 余次下载，投资人直呼“尴尬”：韩国大学生模型都有20万！
Sarvam AI作为印度“IndiaAI Mission”国家级项目的首批入选公司，近期发布了名为Sarvam-M的240亿参数混合语言模型，被视为印度本土AI研究的一项突破。该模型基...
强迫模型自我争论，递归思考版CoT热度飙升！网友：这不就是大多数推理模型的套路吗？
CoRT（Chain-of-Recursive-Thoughts）是一种在语言模型中引入递归思考和自我批判机制的新方法，旨在提升模型的推理能力。与传统的CoT（Chain-of-Thought）相...
被Transformer光芒掩盖的论文，Meta科学家回顾十年前创新之作
2015年发布的论文《End-To-End Memory Networks》虽然在当时被Transformer的光芒所掩盖，但它包含了当前大型语言模型的许多关键要素。这篇论文首次完全用注意...
颠覆传统RAG，创新大模型检索增强—Insight-RAG
Megagon实验室的研究人员提出了一种创新框架Insight-RAG，旨在解决传统RAG方法在检索深度和多源信息整合方面的不足。传统RAG方法依赖表面相关性检索文档，容...
