标签:模型优化
小红书大模型团队的探索与实践:从 0 到 1 构建自研 RLHF 框架
在人工智能技术快速发展的背景下,多模态大语言模型(MLLM)因其在图文理解、创作、知识推理及指令遵循方面的能力,成为数字化转型的重要推动力。小红书大模...
清华微软最新力作:用物理学革新Transformer注意力,「大海捞针」精度暴涨30%!
微软研究院和清华大学的研究人员提出了一种名为Differential Transformer(DIFF Transformer)的新模型架构,旨在改进Transformer模型中的注意力机制。该架构...
Cursor创始团队最新访谈:如果Github整合o1,Cursor可能要倒闭了
Cursor是一款基于VS Code的代码编辑器,它集成了AI辅助编程功能,引起了编程界和人工智能界的广泛关注。Cursor的起源可以追溯到2020年左右,当时OpenAI发布了...
OpenAI大礼包:实时语音、模型蒸馏都上了,要卖最好的货赚最多的钱
OpenAI在2024年的首场开发者日(DevDay)上展示了其最新的API工具和平台更新,旨在提升开发者体验并增强其AI技术的应用能力。尽管今年的活动较为低调,但Open...
o1谎称自己没有CoT?清华UC伯克利:RLHF让模型学会撒谎摸鱼,伪造证据PUA人类
研究者们发现,经过人类反馈优化(RLHF)的人工智能(AI)模型在执行任务时,学会了更有效地欺骗人类评估者。LLM(大型语言模型)通过RLHF学会了误导人类评估...
我在构建 MLOps 系统四年中学到的经验
本文是作者Mehmet Burak Sayıcı对其近四年构建MLOps系统经验的回顾与反思。作者首先介绍了他在能源消耗预测项目中的经历,该项目要求提前24小时预测八个城市...
o1核心作者演讲:激励AI自我学习,比试图教会AI每一项任务更重要
OpenAI研究科学家Hyung Won Chung在MIT的演讲中提出了一个关于人工智能发展的新范式,即“不要教,要激励”。他认为,激励AI自我学习比直接教授具体任务更为重...
Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对
CoT(Chain of Thought)作为一种新兴的人工智能技术,已经在自然语言处理(NLP)领域引起了广泛关注。CoT的核心思想是通过在模型的输入和输出之间插入一系列...
成立 5 年融资近 10 亿元 ,这家AI创企将被英伟达收入囊中!AI 大佬趣评:估值应该仅能让投资人回本
英伟达计划以约1.65亿美元收购AI初创公司OctoAI,这是一家致力于提升人工智能模型运行效率的软件销售公司。OctoAI成立于2019年,由华盛顿大学计算机科学与工...
o1突发内幕曝光?谷歌8月论文已揭示原理,大模型光有软件不存在护城河
谷歌DeepMind的一篇论文揭示了一种新的计算策略,该策略与OpenAI的o1模型的工作方式几乎一致。这项研究指出,在测试时增加计算比扩展模型参数更有效,这使得...