标签：模型量化
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高昂，降低训练精度成为行业探索降本的重要途径。尽管较高精度已成功应用，但进一步将精度降至极低时，训练过程极易出现不稳定的问题，且传统...
国产双开源：让Mac成为你的私人AI工作站
随着终端芯片算力架构的持续升级，独立运行于本地的AI推理正逐步取代云端调用的单一模式。端侧AI依托设备专属硬件与定制框架，已成为下一代智能化工作站的核...
腾讯混元最新开源：440M翻译模型手机离线就能用，翻译质量超谷歌
随着跨境办公与本地化阅读的日益频繁，传统依赖云端接口的翻译工具在弱网、断网及高隐私要求场景中表现出明显的体验断层。腾讯混元团队针对智能手机的内存瓶...
ICLR 2024 Spotlight | 大语言模型权重、激活的全方位低bit可微量化，已集成进商用APP
摘要：本文介绍了一种名为OmniQuant的新型大语言模型（LLM）量化算法。该算法由上海人工智能实验室、香港大学和香港中文大学的研究者共同提出，旨在解决大语...
