苹果的大模型分层策略,实在是妙

AI-Agent6个月前发布 damoxingLab
1,032 0 0
苹果的大模型分层策略,实在是妙

 

文章摘要


【关 键 词】 模型分发隐私保护AI应用数据安全技术领先

苹果公司提出了一种基于Query难度的模型分发策略,该策略利用3B小模型、苹果大模型和GPT-4o来处理不同场景的任务。3B小模型主要应用于大多数场景,包括自动回复、改写、语法检查和摘要等任务。苹果大模型预计规模在几十B左右,运行在苹果的Private Computing Cloud上。GPT-4o则在Private Computing Cloud上进行安全处理,处理非个性化数据和相关请求。

苹果的Private Computing Cloud(PCC)通过加密、IP隐藏、无状态化、收紧特权权限和环境加固等措施,确保个人隐私数据的安全。PCC与手机端的联动模式可以降低延迟,提高用户体验。苹果的这套PCC方案非常复杂,涉及芯片、软件、云端和终端的硬件和软件安全方案,同时还要优化用户体验。

3B小模型在处理问题时,难点不在于长度,而在于任务难度。在苹果列出的场景中,3B模型已经可以胜任,包括更复杂的邮件场景。未来,随着GPT-5的发展,小模型可以直接在B卡上通过蒸馏的方式完成,利用更强的大模型和更高质量的数据来训练小模型,端侧能力将进一步提高。

未来,每个用户都可能拥有一个属于自己的小模型。用户可以将行为和数据上传到iCloud,然后经过脱敏定期微调属于自己的模型。这类似于推荐系统算法,但小模型时代可以只存储用户的参数,预测用户的下一个行为。

在手机厂商中,苹果在数据和权限上具有巨大优势,几乎可以碾压现在App应用自己做的Personal Agent。这使得苹果在未来的应用生态中占据领先地位。

目前,苹果与OpenAI的合作形式相当于苹果为ChatGPT提供了一级入口,苹果免费使用ChatGPT的用量。ChatGPT获得了近似于预装的机会,未来有升级到付费版的可能。如果苹果11亿DAU中有2亿DAU是ChatGPT付费版用户,那么OpenAI将获得500亿流水,苹果抽成100亿,Azure获得200亿的GPU租金。

AI大模型实验室推出了《AI大模型实战训练营》,涵盖大模型开发的各个方面,包括基础知识和实战代码。课程直播30多个小时,有12个动手实战案例。讲师是公司大模型项目负责人,具有丰富的理论和实战经验。现在优惠价报名中。

共识粉碎机由对冲基金投资人、软件从业者、AI博士和AI产品经理共同运营,主要讨论AI在各场景的落地情况。本文转载自共识粉碎机公众号,经作者授权转载。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1550字 | 7分钟 ]
【原文作者】 AI大模型实验室
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...