开源和闭源模型的差距在拉大:这是 DeepSeek 论文揭示的残酷真相

AI-Agent4小时前发布 Si-Planet
66 0 0
开源和闭源模型的差距在拉大:这是 DeepSeek 论文揭示的残酷真相

 

文章摘要


【关 键 词】 开源模型闭源模型技术报告性能差距创新架构

DeepSeek近期发布的V3.2技术报告揭示了一个关键趋势:开源与闭源大模型的性能差距正在扩大而非缩小。基于大量实测数据,报告明确指出,尽管开源社区持续进步,闭源模型的性能提升速度显著更快,导致两者在复杂任务上的差距日益明显。例如,在MMLU-Pro、GPQA Diamond等基准测试中,DeepSeek V3.2虽为当前最强开源模型,但得分仍落后于GPT-5和Gemini 3.0 Pro,尤其在HLE(极难文本推理测试)中差距尤为显著。

报告深入分析了导致差距扩大的三个结构性缺陷。架构层面的局限性是首要问题:开源模型普遍依赖传统的注意力机制,而闭源模型已采用更高效的技术。资源投入的鸿沟同样关键,后训练阶段的预算差异直接影响了模型性能,DeepSeek V3.2的后训练成本超过预训练的10%,远超大多数开源项目。AI Agent能力的滞后进一步加剧了差距,开源模型在多轮交互、工具调用等场景中的表现明显不足。

为应对这些挑战,DeepSeek采取了根本性的技术革新。引入DSA(DeepSeek Sparse Attention)机制,通过优化注意力计算复杂度,在长文本任务中实现了性能与效率的双重提升。超常规的资源分配策略,包括为不同领域训练专家模型并进行大规模强化学习,显著提升了模型能力。系统化的任务合成流程,通过生成多样化训练场景,有效强化了Agent的泛化能力。这些改进使DeepSeek V3.2在Agent相关测试中缩小了与闭源模型的差距。

报告的结论耐人寻味:开源模型的生存之道在于技术创新而非资源堆砌。DeepSeek V3.2的实践表明,通过高效架构设计和科学的后训练方法,开源社区能够在有限资源下实现接近闭源模型的性能。这一探索不仅为开源生态提供了可行路径,也为AI技术发展提出了新的思考方向。

原文和模型


【原文链接】 阅读原文 [ 2012字 | 9分钟 ]
【原文作者】 硅星人Pro
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

“讯飞星辰”

暂无评论

暂无评论...