标签：预训练
刚刚，国产预训练具身大模型开源了，让后训练不再是必选项！
当前具身智能领域的视觉语言动作模型评测多依赖针对特定任务的微调，导致预训练阶段的真实贡献难以衡量。为突破这一困境，自变量机器人团队推出了Wall-OSS-0....
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高昂，降低训练精度成为行业探索降本的重要途径。尽管较高精度已成功应用，但进一步将精度降至极低时，训练过程极易出现不稳定的问题，且传统...
刚刚，国产AI自己造了AI，全球首例！
面壁智能近期发布了两项重要技术成果：全球首个完全由人工智能编写的生产级大模型预训练框架ForgeTrain，以及由该框架训练出的十亿参数端侧模型MiniCPM5-1B。...
Hermes团队改写预训练：算力成本降六成，DeepSeek之后提效新路径
AI行业正从单纯追求参数规模与能力上限，转向兼顾预训练效率与算力成本的务实路线。为解决模型训练成本攀升的难题，技术团队提出词元叠加训练技术。该技术将...
前OpenAI科学家&GPT之父：预训练精准数据过滤，极低成本削弱大模型危险能力数千倍
Claude价值观塑造者Neil Rathi与前OpenAI科学家Alec Radford共同发表的研究提出了一种革命性的AI安全方法。该方法主张在预训练阶段通过Token级数据过滤精准切...
OpenAI大溃败！GPT-5「换皮」GPT-4o，两年半预训练0突破
OpenAI在GPT-4o发布后，其预训练进展陷入停滞，导致GPT-5的性能未达业界预期。据权威分析机构SemiAnalysis披露，OpenAI顶尖团队自2024年5月以来未能完成新一...
零样本「即插即用」！智源开源RoboBrain-X0，一个基座模型开动不同机器人
智源研究院在2025机器人学习大会上开源了通用「小脑基座」RoboBrain-X0，旨在解决机器人行业「一机一调」的开发困境。该模型通过预训练即可实现零样本跨本体...
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型的后训练阶段，强化学习是提升模型能力、对齐人类偏好的核心方法，但奖励模型的设计与训练仍是关键瓶颈。当前主流方法包括“基于偏好的奖励建模”...
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
百度于6月30日正式开源了文心大模型4.5系列，涵盖10款不同参数规模的模型，包括47B、3B激活参数的混合专家（MoE）模型和0.3B参数的稠密型模型。这些模型已在...
强化学习也能预训练？效果可提升20倍，华人新作引爆RL新范式!
大规模预训练和微调的模式在机器学习领域取得了显著成功，但在强化学习（RL）中的应用仍面临挑战。强化学习需要对时间和意图进行推理，传统方法在处理长时间...
