人人都能有一个满血DeepSeek？清华90后出手，10万块畅玩FP8原版

89 0 0

文章摘要

一款由清华90后团队打造的AI利器——行云褐蚁一体机，首次实现了以14.9万元的低成本流畅运行满血版DeepSeek模型，并支持顶配的128K上下文，性能媲美百万级方案。DeepSeek-R1自开源以来，高昂的硬件成本和复杂的私有化部署方案一直是企业和开发者面临的难题。然而，行云褐蚁一体机的出现打破了这一局面，不仅大幅降低了成本，还提供了与官方版本相当的速度和精度，能够以超过20 token/s的速度运行未经量化的FP8原版DeepSeek模型。

该产品的核心优势在于其极致的性价比和高效的硬件选型。褐蚁系列一体机提供了三种型号，支持不同参数规模的模型，甚至在FP8和FP4精度下都能保持较高的推理速度。通过自研的高效推理引擎和优化的硬件配置，行云团队成功将大模型推理的带宽上限提升至1200 GB/s，实际使用中也能达到800 GB/s，完全满足740 GB/s的需求。此外，团队还通过定制软件方案提升了系统的运行效率，使得上下文长度对速度的影响被控制在合理范围内。

行云褐蚁一体机的推出，标志着LLM端侧部署的重大突破。传统的GPU服务器虽然在大模型训练中具有优势，但在推理阶段的高成本成为许多企业的障碍。行云通过采用CPU方案，结合双路AMD EPYC 9355 CPU和高频内存，成功实现了低成本、高性能的推理部署。这一创新不仅降低了硬件成本，还避免了量化带来的精度损失和对话速度的降低，为法律、医疗等高质量输出场景提供了可靠解决方案。

行云团队的核心成员具备深厚的学术背景和行业经验。创始人兼CEO季宇是前华为天才少年，拥有清华计算机体系结构博士学位，并在AI芯片领域积累了丰富的经验。CTO余洪敏则拥有顶尖国产芯片的研发和管理经验，成功推动了多款芯片的流片与量产。行云的技术实力和团队背景吸引了众多明星资本的关注，公司在成立仅一年多的时间内就完成了数亿元融资，迅速在AI芯片领域站稳脚跟。

行云褐蚁一体机的推出，不仅是大模型部署技术的突破，更是AI普惠化进程的重要里程碑。通过将私有化部署成本从百万级降至10万甚至更低，行云为中小企业、初创公司和个人开发者提供了高性能AI解决方案，极大地拓展了AI应用的边界。未来，随着CPU方案的普及和硬件架构的多元化，AI行业将从模型参数竞赛转向应用落地，推动教育、医疗、零售等行业的AI应用爆发。普惠AI的时代已经到来，行云褐蚁一体机正是这一时代的先锋。