有人只用API就猜出了GPT、Claude、Gemini的参数量？社区吵翻了

AIGC动态2天前发布 almosthuman2014

126 0 0

文章摘要

研究人员提出「不可压缩知识探针」评测框架，尝试仅通过黑盒接口调用，逆向估算大语言模型的参数规模。该方法基于核心假设，即模型的逻辑推理能力可通过训练技巧压缩或蒸馏，但对冷门事实性知识的记忆容量难以被大幅压缩，且主要取决于物理参数规模。研究团队利用人工智能代理自主构建包含1400个问题、划分为7个信息稀缺层级的数据集，并在188个模型上完成测试。通过拟合已知参数的开源模型数据，研究得出事实准确率与参数量的对数线性关系，据此推算出多款闭源前沿大模型的具体参数量区间，其中估算最高值达到约9万亿参数，最低值约1.2万亿参数。数据同时揭示，研究者的学术影响力对模型知识记忆的指导作用强于文献引用数量，且事实记忆容量的增长在过去三年中未呈现统计学显著的时间系数变化，这表明推理性能基准可能已趋于饱和，而记忆容量仍深度绑定模型规模。

该技术推论在学术界与产业界引发广泛讨论与多维度质疑。部分从业者指出，推算参数规模与行业既往流传的参考值存在显著出入，且单一模型达到数万亿量级可能面临现有推理基础设施的算力制约与部署成本瓶颈。另有观点强调，采用合成数据进行定向微调可显著改变模型对长尾知识的掌握程度，这直接挑战了知识不可压缩的理论前提。针对混合专家架构与稠密模型在知识分布上的潜在差异，社区建议在后续分析中分类统计以提升评估精度。发起该项研究及相关测算的技术人员明确提示，该估算方法存在较大置信区间，结果应被视为参考趋势而非精确事实。