文章摘要
【关 键 词】 NemoClaw、多智能体、混合架构、开源模型、上下文优化
英伟达推出名为Nemotron 3 Super的开源大语言模型，总参数1200亿、激活参数仅120亿，专为解决多智能体系统中的“上下文爆炸”与“思考税”问题而设计。
该模型在专为龙虾（OpenClaw）智能体设立的PinchBench基准测试中取得85.6%准确率，位列全球第四，显著优于同类开源方案。
其核心创新在于融合Mamba与Transformer架构，并引入潜在混合专家（Latent MoE）与多Token预测（MTP）技术，从而在维持高精度的同时大幅降低推理成本。
Mamba层以线性时间复杂度高效处理长达100万Token的上下文窗口，解决了长序列推理中的内存瓶颈；Transformer注意力层则嵌入关键深度位置，保障对超长上下文中细微事实的精准检索能力。
潜在MoE机制通过将Token投影至低秩空间完成路由，使相同算力下专家数量提升4倍，实现细粒度专业化分工——例如Python语法与SQL逻辑由不同专家响应，显著提升跨任务切换的准确性与效率。
多Token预测训练强制模型内化长程逻辑依赖，在思维链任务中效果突出，配合内置投机解码功能，结构化生成任务（如代码编写、工具调用）速度最高提升3倍，且无需额外草稿模型。
模型采用原生四比特（NVFP4）训练，结合微块缩放与Blackwell硬件协同，在B200芯片上推理速度较H100上的FP8提升4倍，内存占用显著下降。
训练流程分三阶段：预训练覆盖10万亿Token语料（含100亿推理与1500万编程样本），监督微调基于700万高质量样本构建响应框架，强化学习在21种真实工作流环境（依托NeMo Gym）中进行超120万次推演,全面对齐智能体行为规范。
模型在真实任务如日程协调、多源信息整合、邮件起草等场景中表现卓越，彻底根除推理漂移问题。
开源方面，完整权重、数据集、训练及评估配方已开放至Hugging Face与NIM平台，支持企业私有部署；配套指南覆盖vLLM、SGLang、TensorRT LLM等主流推理引擎，并提供LoRA微调与GRPO/DAPO强化方案，大幅降低垂直领域适配门槛。
全开源生态确保开发者可复现、定制并安全部署模型，为AIGC开发者构建了从研究到落地的闭环路径。
原文和模型
【原文链接】 阅读原文 [ 3791字 | 16分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 qwen3-vl-plus-2025-12-19
【摘要评分】 ★☆☆☆☆
相关文章
