标签：语言模型
聊聊我构建SMoE模型的过程
文章首先介绍了稀疏混合专家语言模型的背景和相关概念，以及与传统 Transformer 模型的共享元素。作者指出训练稳定性是这些模型面临的主要挑战，而小规模、可...
2023年大语言模型融合技术调研与实践指南
本文介绍了大语言模型融合的新技术，包括模型合并算法、实践和配置示例。首先介绍了模型合并的流行趋势和效果，以及在OpenLLM排行榜上产生了许多最先进的模型...
小模型有大智慧，Phi-2：微软Microsoft 的小语言模型，开源!
文章介绍了微软Microsoft推出的小语言模型Phi-2，该模型虽然参数只有2.7亿，但在各种测试中展现出了卓越的推理和语言理解能力，甚至超过了规模大达25倍的模型...
OpenAI 演讲：如何通过 API 将大模型集成到自己的应用程序中
第一部分介绍了大语言模型（LLMs）及其局限性。 LLMs 是自回归语言模型，它们接受一个 prompt，然后预测下一个单词或 token。然后，文章介绍了如何使用 GPT ...
大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉
研究指出，预训练语言模型产生幻觉的原因是固有的统计学原因，与Transformer架构或数据质量无关。语言模型可以用于生成文本或预测下一个token，但这篇论文强...
基于开源模型搭建Agent系统教程
这篇文章主要介绍了使用大型语言模型（LLMs）作为代理系统的概念，重点介绍了ReAct代理的内部工作原理和挑战。文章首先解释了LLM Agent的定义和其在任务完成...
当前大模型的能力边界
深入探讨了大型语言模型的能力边界及其在理解、逻辑推理、提示词互动和未来发展方向上的挑战。
