华为盘古718B模型最新成绩：开源第二

67 0 0

文章摘要

在最新一期SuperCLUE中文大模型通用基准测评中，华为的openPangu-Ultra-MoE-718B以7180亿参数的体量位列国产大模型第二名。其成功并非依赖数据堆砌，而是通过系统化的技术策略实现质量突破。

数据质量是模型能力的核心支柱。团队构建了覆盖“生成-筛选-增强”全流程的后训练数据方案，强调质量优先、多样性覆盖和复杂度适配三重原则。通过指令数据质量评估体系、去重压缩算法及难度量化指标，确保模型在复杂场景下的推理能力。预训练采用三阶段策略：通用阶段构建世界知识，推理阶段强化STEM与代码能力，退火阶段扩展上下文长度并引入Agent数据，形成从基础认知到高阶应用的渐进式能力培养。

针对大模型普遍存在的幻觉问题，团队创新性引入“批判内化”机制，通过自我批判信号引导模型审视推理过程，显著提升输出可靠性与价值观对齐。在工具学习方面，ToolACE框架通过领域工具组合、交互式轨迹生成和多智能体对话，使模型掌握复杂任务中的多工具协同调用能力。

后训练阶段采用三步优化方案：渐进动态微调平衡过拟合与欠拟合，GSPO算法稳定强化学习过程，黑盒优化模型融合整合多版本优势。这种全链路技术打磨，最终成就了模型在数学推理、代码生成等六大维度的综合优势。

openPangu-718B的实践表明，大模型竞争力的本质在于对技术细节的极致追求与核心痛点的精准突破。从数据构建到训练策略，从幻觉控制到工具学习，每一步创新均围绕提升模型的实际推理与应用能力展开，为行业提供了高质量技术范本。