Kimi K3！全球首个3万亿级开源模型王者

48 0 0

文章摘要

月之暗面正式推出拥有2.8万亿参数的Kimi K3，该模型是全球首个开源的三万亿级别大模型。它在长程编程、知识工作和推理等前沿场景中展现出卓越实力，整体性能逼近顶尖闭源模型，在前端代码竞技场中位列第一，并大幅降低了Token消耗成本。

在长程编码方面，Kimi K3具备极强的持续工程任务处理能力，能够独立理解大型代码库并协调终端工具。它不仅能从零构建具备竞争力的GPU编译器系统，还能在极少人工监督下独立完成芯片的构建、优化与验证。此外，结合编码、三维推理与视觉能力，该模型可将概念转化为三维模拟等可交互数字作品。

在知识工作领域，Kimi K3显著推动了端到端知识处理的进展，在金融咨询和科研分析中表现出极高的数据处理与可视化能力。配套的Kimi Work推出了小组件和看板功能，提升了交互的可视化与持续性。同时，其原生多模态架构使其擅长动效设计与视频剪辑，能将复杂概念转化为动态图形视频。

架构与训练方面，Kimi K3基于混合线性注意力机制和注意力残差构建，结合高稀疏度混合专家框架，支撑起万亿参数规模的稳定扩展。通过引入分位数平衡、基于注意力头的优化器及量化感知训练等方法，模型扩展效率提升约2.5倍。基础设施优化也确保了训练高效性与推理成本竞争力。

尽管性能卓越，Kimi K3仍存在一定局限性。它对历史思考内容较为敏感，且在执行长程高难任务时可能会在细节问题上替用户做出非预期决定。官方建议使用兼容框架并施加明确行为约束以优化体验。目前，用户已通过网页端、移动应用、桌面客户端及API等多种渠道接入使用。