Transformer作者初创公司最新成果:开源新框架突破进化计算瓶颈,样本效率暴涨数十倍

AIGC动态2天前发布 QbitAI
87 0 0
Transformer作者初创公司最新成果:开源新框架突破进化计算瓶颈,样本效率暴涨数十倍

 

文章摘要


【关 键 词】 开源框架样本效率进化计算LLM优化技术创新

开源框架ShinkaEvolve通过三项核心技术实现了进化计算领域的突破性进展,将大语言模型(LLM)自我优化的样本效率提升数十倍。由Transformer作者Llion Jones创立的Sakana AI团队开发的这一框架,在数学优化、智能体设计等任务中仅需150次评估即可达到传统方法上千次评估的效果,同时保持开源属性。

框架的核心创新体现在三个层面。平衡探索与利用的亲本抽样技术采用”岛群模型”并行进化机制,通过分层策略将种群划分为独立子群,结合幂律抽样和加权抽样多策略模式,有效协调优质解保留与新方案探索的矛盾。代码新颖性拒绝抽样机制建立二级过滤系统,先通过嵌入相似度初筛,再经LLM评估语义独特性,将无效计算减少80%以上。动态LLM集成选择策略基于UCB1算法,通过访问计数器和得分估计的双指标系统,实时调整不同模型在进化各阶段的参与权重。

实验数据验证了框架的跨领域适用性。在26圆最优排列的数学优化任务中,仅用传统方法5%的样本量就突破空间利用率瓶颈,进化曲线呈现快速改进、持续探索和最终收敛三阶段特征。针对AIME竞赛题的智能体测试表明,7次LLM查询即可达到峰值性能,且在未见过的2025年赛题上保持稳定表现。竞争性编程基准测试中,AtCoder竞赛题平均得分提升2.3%,其中ahc039任务排名从第5跃升至第2。混合专家系统的负载均衡实验中,新框架生成的损失函数在7个下游任务上准确率提升3.8%-12.6%,且正则化系数增大时优势更显著。

该研究开创性地将动态资源分配、语义级去重和并行进化策略融合,形成”抽样-变异-反馈”的闭环优化范式。其开源性设计不仅降低技术使用门槛,更为后续研究提供了可扩展的基础架构。实验证明该框架能适应从数学优化到LLM训练等不同复杂度任务,标志着进化计算领域向高效实用化迈出关键一步。

原文和模型


【原文链接】 阅读原文 [ 1458字 | 6分钟 ]
【原文作者】 量子位
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★☆☆☆

© 版权声明
“绘蛙”

相关文章

“讯飞星辰”

暂无评论

暂无评论...