对话 Nexa AI:两位斯坦福95后,做出比GPT-4o快4倍的小模型,直指“端侧版Hugging Face”

AIGC动态2个月前发布 Si-Planet
320 0 0
对话 Nexa AI:两位斯坦福95后,做出比GPT-4o快4倍的小模型,直指“端侧版Hugging Face”

 

文章摘要


【关 键 词】 人工智能技术创新端侧AI模型优化斯坦福

Nexa AI,一家由斯坦福校友创立的公司,近期在人工智能领域取得了显著成就。公司开发的Octopus v2模型以其5亿参数量在硅谷AI界引起了广泛关注,其Functional Token技术实现了快速推理速度,且函数调用准确率高达98%以上。该模型在Product Hunt上线当天即获得“No.1 Product of the Day”的荣誉,并在Hugging Face发布当月累积了1.2万次下载量,受到了AI界权威人士的高度评价。

Nexa AI由95后斯坦福校友Alex Chen和Zack Li共同创立,目前拥有8名全职员工,并得到了斯坦福大学教授的顾问支持。公司已成功签约10余家不同领域的头部企业客户,服务超过1000名注册用户,并完成了超千万美元的种子轮融资。

继Octopus v2发布后,Nexa AI又推出了参数量小于10亿的多模态AI模型Octopus v3,该模型在保持与GPT-4相当的函数调用准确度的同时,能够在各种边缘设备上高效运行,支持文本和图像输入,并能理解中英文。此外,公司还推出了38亿参数的Octo-planner模型,该模型能在不同领域知识中执行多步查询任务。

Nexa AI的目标是打造一个端侧AI综合开发平台「Model Hub」,该平台包含专为本地部署设计和优化的丰富AI模型库,如Octopus系列、Llama 3.1、Gemma 2等,适合在各种设备上高效运行,无需互联网连接和API费用。Model Hub还提供了全面的开源SDK,支持开发者将模型部署到本地,并根据需求微调定制,同时建立了开发者社区。

在对话中,Alex Chen和Zack Li分享了他们的创业经历和对端侧AI的思考。他们认为,随着算法的不断改进和端侧算力的提升,越来越多的大模型功能可以通过小模型完成,端侧AI有非常好的发展机会。他们强调,小模型在速度、耗电、部署成本和隐私保护方面具有优势,尤其是在处理特定领域问题时,小模型已经足够应对99%的日常需求。

Nexa AI的核心技术优势在于其Functional Token概念,通过一个端到端的模型直接输出,显著节省计算资源和上下文空间,提升处理速度。在实际验证中,Octopus v2模型在单卡A100的硬件条件下,比GPT-4o快4倍。此外,公司还计划推出支持长文本处理的压缩模型,并持续优化不同场景的服务。

面对激烈的市场竞争,Nexa AI凭借其模型优势和部署优势,以及通过Model Hub平台吸引更多开发者加入,形成了独特的差异化竞争。公司希望通过维护端侧AI社区,为开发者提供基于订阅的收入,并针对企业客户提供服务。Nexa AI的最新端侧AI模型社区Mobile Hub已于8月22日上线官网,供用户体验。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 6195字 | 25分钟 ]
【原文作者】 硅星人Pro
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明

相关文章

暂无评论

暂无评论...