标签：语言模型
学界正在研究1-bit的大模型，目前已经有突破性进展
随着大型语言模型（LLM）性能的增强，其对计算资源和能源的需求也日益增加。为降低成本、提高速度并实现环保，研究者致力于将模型压缩至能在手机等小型设备上...
解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进
这篇文章介绍了Meta公司研究人员提出的一种新的位置编码方法，称为CoPE（Contextual Position Encoding），用于Transformer模型，旨在解决标准位置编码无法处...
芝大论文证明GPT-4选股准确率高达60%，人类股票分析师要下岗？AI大牛质疑数据污染
这篇文章报道了一项最新研究，发现大型语言模型(LLM)在分析财务报表和预测公司收益方面的表现超越人类分析师和专业模型。主要内容包括：1. 研究发现，LLM（尤...
Hinton揭秘Ilya成长历程：Scaling Law是他学生时代就有的直觉
在2003年夏天的一个周日，AI领域的传奇人物Hinton在他的多伦多大学办公室里，意外迎来了一个年轻的学生Ilya Sutskever。这位学生在经历了整个夏天的炸薯条工...
全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型
为使大型语言模型（LLM）与人类价值观和意图保持一致，学习人类反馈是关键。近期研究提出了一种简单有效的离线偏好优化算法——SimPO。SimPO的核心优势在于其奖...
我是如何赢得GPT-4提示工程大赛冠军的
本文是一篇关于如何进行有效的提示工程（Prompt Engineering）的指南，作者Sheila Teo在新加坡政府科技局（GovTech）组织的GPT-4提示工程竞赛中获得胜利，并...
原作者带队，LSTM真杀回来了！
长短时记忆（LSTM）网络自20世纪90年代引入以来，一直是深度学习领域的重要组成部分，尤其在处理序列数据方面表现出色。然而，随着可并行自注意力机制的Trans...
微软秘密开发首个千亿大模型，竟由OpenAI对手操刀！网友：你不要奥特曼了？
微软正在开发一个名为MAI-1的新型人工智能模型，这标志着该公司在人工智能领域的重大发展。MAI-1将是一个具有约5000亿参数的大型语言模型，位于OpenAI的GPT-3...
苹果AI终于来了！从2.7到30亿四款大模型代码全开源，AI技术持续“狂飙”｜钛媒体AGI
苹果公司在Hugging Face平台上发布了名为OpenELM的开源高效语言模型，该模型有四种不同尺寸的版本，参数数量从2.7亿到30亿不等。这些模型定位于超小规模，运...
微软开源最强小参数大模型—Phi-3 Mini
本文介绍了微软在AIGC领域的最新动态，着重关注了微软发布的小参数大语言模型Phi-3-mini。Phi-3-mini是微软Phi家族的第4代模型，拥有38亿参数，但训练数据高...
