面壁小钢炮 3.0 重磅发布!“无限”长文本,性能超 Kimi

AI-Agent4周前发布 ai-front
240 0 0
面壁小钢炮 3.0 重磅发布!“无限”长文本,性能超 Kimi

 

文章摘要


【关 键 词】 MiniCPM 3.0端侧模型长文本处理RAG技术AI大会

面壁智能最近宣布了其旗舰端侧模型“小刚炮”系列的升级,推出了全新的MiniCPM 3.0基座模型。这一新模型以4B参数实现了超越GPT-3.5的性能,同时量化后仅占用2GB内存,显示出对端侧设备的友好性。MiniCPM 3.0的主要特点包括无限长文本处理能力,其榜单性能超越了Kimi,即使在处理超长文本时也不会崩溃。此外,它还具备与GPT-4o相媲美的端侧Function Calling性能,以及在中文检索和生成方面超越Llama3-8B的超强RAG外挂三件套。

面壁智能团队提前四个月实现了他们的目标,即在端侧运行达到GPT-3.5水平的模型。MiniCPM 3.0在自然语言理解、知识、代码、数学等多项能力上超越了GPT-3.5,并在多个中外知名模型中脱颖而出。面壁团队构建了全新的技术架构,以Scaling Law为核心,将提升知识密度视为高效大模型的第一性原理,并提出了“面壁定律”,即模型知识密度平均每8个月提升一倍。

MiniCPM 3.0集成了长文本处理、Function Call和RAG等大模型的重要能力。面壁提出的LLMxMapReduce长文本分帧处理技术,实现了“无限”长文本的处理能力。在InfiniteBench大模型长文本能力的权威评测集中,MiniCPM 3.0在多维度能力评估中超越了GPT-4、KimiChat、Qwen2-70B等模型。

在Function Calling方面,MiniCPM 3.0在Berkeley Function-Calling Leaderboard上的评测中接近GPT-4o的性能,并超越了多个其他模型。RAG技术的应用使得端侧模型能够引用外部知识库,提高了生成内容的可信度,并减少了大模型的幻觉问题。面壁智能提供的RAG外挂三件套包括MiniCPM-Embedding(检索模型)、MiniCPM-Reranker(重排序模型)和LoRA插件(生成模型),在多项任务上的性能超越了业内其他优秀模型。

此外,AICon全球人工智能开发与应用大会·上海站成功举办,汇聚了超过60位大模型行业先锋,深入探讨了大模型训练与推理机制、多模态融合、智能体Agent前沿进展等热点话题。《中国AI Agent应用研究报告 2024》则提供了关于AI Agent应用现状和未来发展的深入分析。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 1414字 | 6分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

© 版权声明

相关文章

暂无评论

暂无评论...