DeepSeek 团队真是鬼才啊。

79 0 0

文章摘要

DeepSeek团队开源了3B参数的DeepSeek-OCR模型及相关论文，提出通过视觉模态压缩文本信息以解决大语言模型的长上下文挑战。传统Transformer架构在处理超长文本时面临计算量平方级增长的问题，导致延迟高、显存占用大等瓶颈。该团队创新性地将文本渲染为图像，利用视觉编码器将10万量级token压缩至数百个视觉token，在仅使用原token数10%的情况下实现近乎无损的识别，压缩至5%时仍保留60%准确度。

研究揭示了视觉token的高信息密度特性，不仅能承载文字内容，还保留了排版结构和空间关系等元信息。这种光学压缩机制与人类记忆衰减曲线形成巧妙类比：近期信息保持高分辨率，远期信息则通过降低图像分辨率实现渐进式模糊，形成类似人类记忆的立体时间轴。实验表明，该技术可使模型像人类一样动态管理记忆权重，重要内容清晰留存，次要信息自然淡出。

团队进一步探索了该技术在对话系统的应用潜力，通过光学压缩折叠历史对话，理论上可实现无限上下文窗口的架构。这种范式跳出了传统文字处理的维度限制，将信息重新编码为更接近人类感知的视觉语言。研究同时引发对数字文字本质的重新思考——文字或许只是思想的中间表达层，而视觉压缩提供了更高维的信息载体。

该研究为突破Transformer计算瓶颈提供了全新思路，其提出的”视觉即压缩”理念可能重塑语言模型处理长文本的基础架构。技术细节显示，模型在代码理解等场景表现突出，因视觉压缩能有效保留代码库的整体结构特征。相关成果将在12月北京举行的AI Maker Summit大会进行深度分享，会议还将聚焦AI Video、Context Engineering等前沿应用领域。