拆解Kimi K3技术报告：月之暗面开始给DeepSeek出题了

242 0 0

文章摘要

Kimi K3模型的完整权重正式开源，并在编程盲测榜上超越所有闭源模型，标志着开源AI模型取得重大突破。其技术报告指出，大模型的扩展应同时推进部署前预训练与部署后推理两条轴线，主张在扩大参数规模的基础上结合后训练方法。与侧重压低上下文成本的路线不同，K3选择了更大参数规模与更高激活量的发展方向。

在架构设计方面，K3通过三个维度的创新实现了约2.5倍的缩放效率提升。在序列维度，采用线性注意力与传统注意力混合的架构，并完全去除位置编码，使模型能够高效处理百万级上下文。在深度维度，引入跨层检索机制，允许网络层直接读取前置层的输出，解决了深层网络中早期特征被稀释的问题。在宽度维度，采用包含海量专家的混合专家架构，并通过创新的分位数均衡方法，实现了专家调度的完美负载均衡。

在基础设施与训练层面，K3进行了深度优化。视觉编码器完全从零开始训练，并针对大规模专家并行训练开发了专属均衡方案，以保证任意负载下的平衡分配。此外，强化学习训练使用了数千万个轻量级虚拟机沙箱，并通过多个不同推理强度的自研教师模型进行能力蒸馏，显著降低了推理成本并提升了在通用、智能体和编程领域的综合性能。

K3的技术报告不仅吸收了行业已有成果，还通过优化核心算子和开源多项关键技术，反哺了整个开源社区。这种详细的技术共享加速了开源模型在预训练框架和工程实现上的迭代。随着各方在技术报告中的隔空对话与相互借鉴，开源社区共同构建的技术生态正在不断完善，有望在未来扭转开源与闭源模型之间的竞争态势。