标签:量化推理

模型即智能体,Kimi K2 Thinking多项评估超越顶尖闭源模型,300轮工具调用不疲倦

月之暗面(Moonshot AI)发布的Kimi K2 Thinking模型代表了当前开源思考模型的最高水平。该模型基于'模型即智能体'理念开发,具备自主规划与多轮工具调用能力...

最新W4A4KV4全量化框架,单卡A100大模型推理速度飙升

王颖研究员团队联合华北电力大学和上海科技大学,在ASPLOS 2025会议上发布了COMET框架,该框架通过系统-算法协同优化,实现了权重、激活和KV缓存全4比特推理...