文章摘要
【关 键 词】 大模型、RAG技术、词汇多样性、DRAG方法、检索增强
RAG（检索增强生成）技术通过结合大语言模型（LLM）的记忆能力和外部知识库检索，解决了模型知识“截止日期”的问题。然而，传统RAG在评估文档相关性时存在局限性，无法充分理解人类语言的“词汇多样性”，导致检索结果可能包含大量无关信息，影响生成答案的质量。针对这一问题，词汇多样性感知的检索增强生成（DRAG）方法应运而生，通过改进检索和生成两个阶段，显著提升了模型的性能。
在检索阶段，DRAG的核心组件“多样性感知相关性分析器（DRA）”将问题拆解为三类词汇组件：不变组件（如专有名词）、变体组件（如“职业”的同义词）和补充组件（隐含的相关信息）。DRA为每类组件设定不同的相关性评估标准，并通过加权得分筛选出真正相关的文档。例如，对于问题“波特兰是哪个州的首府？”，DRA会严格匹配“波特兰”，同时灵活评估“首府”的语义变体（如“行政中心”），避免因词汇差异遗漏关键信息。
生成阶段的挑战在于噪声干扰。“风险引导稀疏校准策略（RSC）”通过计算词汇的“无关风险”分数，仅对高风险词（如核心事实词）进行校准。风险分数结合词汇多样性、注意力分布和模型预测不确定性，动态过滤噪声文档的影响。例如，RSC会模拟仅用噪声文档生成某个词的结果，并将其从正常预测中剔除，从而提升答案的准确性。这一过程仅针对少数高风险词，计算效率极高。
实验表明，DRAG在多项任务中表现优异。在事实性要求高的PopQA数据集上，其准确率比基线模型提升45.5%；在多跳问答任务HotpotQA中，优势进一步扩大，领先次优方法10.6%。消融实验证实，DRA和RSC的协同作用至关重要，两者结合时性能提升最显著。此外，DRAG兼容不同规模的LLM（如Llama2-7B），且计算开销几乎可忽略，展现了强大的通用性和实用性。
DRAG的成功揭示了语言多样性理解对AI智能的关键作用。通过精细化处理词汇变体和动态降噪，该方法为RAG技术的进一步发展提供了新方向，同时也为复杂语义场景下的信息检索和生成树立了标杆。
原文和模型
【原文链接】 阅读原文 [ 2757字 | 12分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★★★★
相关文章
