清华教授翟季冬：Benchmark正在「失效」，智能路由终结大模型选型乱象

45 0 0

文章摘要

「选择悖论」正在AI模型与算力领域显现。随着大模型参数激增、算力成本下降，用户的实际落地负担却日益加重。翟季冬教授指出，Benchmark的高分未必能匹配真实需求，不同MaaS平台对同一模型的量化处理差异显著，导致性能波动巨大。用户需在性能、价格与稳定性间反复权衡，而企业降本增效的关键在于合理调度模型资源——用大模型处理复杂任务，轻量模型应对日常需求。

清程极智团队开发的AI Ping（AI评）试图破解这一困境。该产品通过整合供应商性能数据与用户习惯，提供模型与服务的智能路由推荐。其核心逻辑是聚合需求以降低边际成本：数据越集中，模型匹配越精准，用户成本则越低。翟季冬认为，这种模式能撬动算力行业的马太效应。然而，冷启动阶段的挑战在于数据积累不足，团队通过实测供应商API与联合上下游企业逐步突破。

商业化路径上，清程极智聚焦软件层能力，将编译、通信库等技术赋能于国产算力。例如，其“赤兔”推理引擎与AI Ping协同，整合分散的算力资源。翟季冬强调，Infra的价值源于架构迭代与软件创新的双重驱动。当前国产算力架构尚未收敛（SIMT与SIMD并存），且模型复杂度持续提升（如多模态、稀疏性技术），这为AI Infra提供了长期存在的空间。

未来挑战集中在算力利用率提升。翟季冬指出，芯片标称算力与实际利用率存在巨大鸿沟，推理场景的多样化更要求Infra优化硬件性能释放。此外，团队探索AI for Science等非商业化领域，试图通过技术解决天文观测等实时数据处理需求。这些探索虽短期难盈利，却可能成为Infra行业穿越周期的关键。

行业共识正在形成：软硬件协同是国产算力落地的核心。随着厂商从单一硬件竞争转向架构融合，AI Infra的中立评测与调度能力或将成为产业链的重要枢纽。