标签:参数规模

更大,还能更快,更准!蚂蚁开源万亿参数语言模型Ling-1T,刷新多项SOTA

蚂蚁集团推出的Ling-1T大模型标志着开源大模型领域的重要突破。作为百灵大模型Ling 2.0系列的首款旗舰产品,该模型采用高效的MoE架构,总参数规模达到万亿级...

Scaling Law要撞墙了吗?如何找到基座大模型的未来方向?

AI领域的发展似乎正面临一个转折点,即所谓的Scaling Law可能正走向尽头。这一规律曾支撑着AI技术的快速发展,但现在,随着模型参数规模的扩大,其带来的能力...

大模型「强崩溃」!Meta新作:合成数据有「剧毒」,1%即成LLM杀手

近期,来自Meta、纽约大学和加州大学洛杉矶分校(UCLA)的研究团队在一篇论文中探讨了合成数据对大型语言模型(LLM)的影响。研究发现,即使合成数据在总数据...

ChatGPT参数规模被扒:只有7B

这篇文章报道了南加州大学团队对ChatGPT进行攻击并揭露其参数规模的研究成果。他们使用一种攻击方法,仅花费不到1000美元就成功挖出了最新版gpt-3.5-turbo模...