标签:频率定律

「马嘉祺」让大模型翻车,而他一年前洗澡时就发现了问题

大语言模型在生成低频词汇时存在明显的退化现象,这一问题近期因特定人名生成错误而引发公众广泛关注。低频词元退化并非全新的技术发现,而是大模型在预训练...