重复一下提示词，Gemini准确率竟从21%飙升至97%！

文章摘要

【关 键 词】 AI研究、提示词优化、大语言模型、注意力机制、性能提升

Google Research团队的最新研究发现，通过简单重复输入提示词，可以显著提升主流大语言模型在非推理任务上的表现。这一策略在不增加计算延迟的前提下，使Gemini、GPT-4o等模型的准确率实现飞跃式增长。例如，Gemini 2.0 Flash-Lite在NameIndex任务中的准确率从21.33%飙升至97.33%。

研究揭示了因果语言模型（如GPT系列）的固有缺陷：模型处理输入时存在单向性限制，导致开头部分无法感知后续内容。这种架构使得模型对输入顺序极为敏感，尤其在长上下文场景中，关键信息容易丢失。通过将原始提示词重复一次（如从``变为``），模型获得了类似双向注意力的能力，每个Token都能完整回顾整个输入序列。

实验覆盖7个主流模型和70个基准组合，结果显示提示词重复策略在47项测试中显著提升性能，且零负面案例。在需要精确定位的任务（如从50个名字中索引第25个）中效果尤为突出。对比实验证实，性能提升源于内容重复本身，而非输入长度增加——用无意义填充的对照组未现改进。

值得注意的是，该策略的计算开销几乎可忽略。由于重复操作仅作用于可并行化的预填充阶段，实际生成输出的延迟未显著增加。对于已采用思维链（CoT）的任务，效果趋于中性，但为无法使用CoT的场景提供了高效替代方案。

这项研究不仅暴露了因果语言模型的注意力局限，更提供了一种零成本、即插即用的优化手段。开发者无需修改模型架构或重新训练，仅通过输入设计就能释放潜在性能。这一发现对需要处理长上下文、精确索引或复杂指令的应用场景具有重要实践价值。

原文和模型

【原文链接】 阅读原文 [ 1742字 | 7分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 deepseek/deepseek-v3-0324
【摘要评分】 ★★★★☆

派欧算力云 – AI 云端一体化解决方案: 模型 API、Serverless、GPU 租赁

派欧算力云提供全面的 AI 云端平台解决方案,包括模型 API、Serverless 和高性能 GPU 实例等,帮助您节省高达 50% 的成本,并同时加速 AI 产品的构建和业务发展,助力企业实现创新突破,赢得市场竞争优势。