DeepSeek推理再提速80%，V4正式版定档7月中旬

46 0 0

文章摘要

推测解码技术通过轻量级模型生成候选词并由大模型并行校验来加速文本生成，但传统的并行解码模型容易出现接受率快速衰减的尾部短板，且固定块长的校验方式无法适应动态变化的系统负载和数据类型。DSpark通过半自回归生成机制解决了候选词生成质量问题，同时利用置信度调度校验机制优化了系统整体效率。具体而言，半自回归结构在保持并行加速优势的同时注入了块内依赖以消除混搭词现象，而硬件感知调度器则将校验长度选择转化为全局吞吐最大化问题，能够根据系统负载与数据类型动态调整校验预算，改变了固定阈值带来的资源浪费。

在真实流量的部署测试中，该框架展现出卓越的动态适应能力。当系统并发处于常规区间时，调度器会自动扩充每请求的校验预算以充分利用空闲算力；当并发上升导致目标模型算力饱和时，调度器则动态收紧预算，在低置信度候选词占用关键批处理容量前将其剪枝，从而保障部署的稳定性。测试数据显示，在多种严格的服务等级协议下，DSpark均能在维持系统总吞吐量的同时大幅提升单用户的交互生成速度。伴随该框架同步开源的，还有用于训练和评估推测解码算法的全栈代码库，为开发者社区提供了完整的复现与扩展资源。

此外，官方正式宣布将于7月中旬推出新一代大语言模型的正式版本。新版本不仅延续了百万上下文的普惠特性，还伴随着全新的API定价策略调整。新模型引入了峰谷定价机制，在特定的高峰时段实行价格翻倍，这标志着随着底层推理速度的大幅提升，算力调度与访问需求管理已成为系统商业化落地的核心考量。