ChatGPT 发布近两年,4B 的端侧模型已经能够复刻当年的水平

AIGC动态4周前发布 geekpark
238 0 0
ChatGPT 发布近两年,4B 的端侧模型已经能够复刻当年的水平

 

文章摘要


【关 键 词】 端侧AI长文本处理智能助手隐私保护机器人应用

面壁智能公司近期发布了其最新的端侧基座模型MiniCPM 3.0,该模型在参数量仅为4B的情况下,宣称性能超越了ChatGPT-3.5 Turbo。这一进展标志着端侧AI技术的重要突破,尤其是在长文本处理、函数调用、RAG技术等方面。MiniCPM 3.0采用了长文本分帧处理技术,能够处理无限长的文本,同时保持模型性能不下降,这对于需要处理大量数据的端侧应用,如总结类应用,是一个巨大的利好。

端侧AI模型,即完全依赖设备端算力运行的大模型,曾被视为AI普及的关键。尽管今年大模型成本降低,端侧模型的关注度有所下降,但其在智能设备和机器人领域的应用潜力依然被看好。面壁智能的CEO李大海在接受采访时表示,端侧模型在智能终端助手中的应用仍然广泛,尤其是在手机、PC、汽车车机端等内置助手上,尽管目前更多地采取端云协同的方式。

面壁智能的模型是开源的,其进步得益于内部的第五代训练技术,该技术在数据清洗、学习策略和配比策略上进行了优化。在智能设备厂商中,端侧模型因其能够更激进地使用用户本地隐私数据而变得不可或缺。然而,对于APP开发者来说,适配端侧模型仍然面临挑战,尤其是在不同配置的手机上部署模型。

在智能硬件创业领域,使用端侧大模型的创业者较少,主要原因是云端模型的成本已经降低,且能力上仍然具有优势。不过,一些公司可能会选择在内部应用中使用端侧模型,以实现内容分类、信息提取等功能,同时降低成本。面壁智能的定位是专注于端侧模型,这在智能设备公司中是一种刚需,因为设备厂商通常只能选择一家端侧模型提供商。

李大海还提到,机器人可能是端侧大模型的另一个有潜力的应用场景,因为机器人在大规模普及后可能更需要低时延、不受网络问题影响的大模型反馈。尽管如此,目前与机器人企业的合作仍处于探索阶段。面壁智能对商业模式持乐观态度,认为其服务的场景趋同,产品将逐步标准化,从而避免陷入SaaS领域B端服务的困境。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 2173字 | 9分钟 ]
【原文作者】 极客公园
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明

相关文章

暂无评论

暂无评论...