标签：信息论

大模型的第一性原理：（一）统计物理篇

2022年底至2025年间，大模型技术经历了从ChatGPT到Gemini 3的快速迭代，引发了对通用人工智能（AGI）的广泛讨论。白铂博士及其团队通过论文《Forget BIT, It ...

AIGC动态

2个月前

73年前，香农已经给大模型发展埋下一颗种子

普林斯顿大学教授承现峻提出，1951年克劳德·香农在贝尔实验室提出的预测下一个单词的问题，成为了当前大语言模型（LLM）的基础。香农在论文中给出了两种估计...

AIGC动态

2年前 (2024)