ChatGPT也在评审你的顶会投稿,斯坦福新研究捅了马蜂窝,“这下闭环了”

AIGC动态3个月前发布 QbitAI
252 0 0
ChatGPT也在评审你的顶会投稿,斯坦福新研究捅了马蜂窝,“这下闭环了”

 

文章摘要


【关 键 词】 审稿人使用AI顶会同行评审ChatGPT影响学术写作人工智能

近期,斯坦福大学的研究人员发表了一项研究,关注的是ChatGPT对AI学术会议同行评审的影响。

研究分析了ICLR、NeurIPS、CoRL和EMNLP这四个顶级会议中的审稿意见,发现在ChatGPT问世后,这些审稿意见中的AI含量显著增加,最高达到16.9%,而之前这一比例约为2%。

研究人员通过设计一种分布式“GPT量化”方法来估计审稿意见中的AI含量,该方法在语料库级别有效,无需逐篇分析。

研究发现,AI含量较高的审稿意见具有一些共同特点,例如引用较少包含“et al.”的学术内容,语义上更加同质化,使用了大量特定形容词。此外,这些审稿意见的作者通常在截止期限前提交,并对自己的内容自信程度较低,较少回应论文作者的反驳。

这一现象引发了广泛讨论,有人担忧审稿意见的质量和原创性,也有人认为科学写作是ChatGPT的合理用途。讨论集中在是否应该披露AI在同行评审中的使用,如何激励好的实践,保持智力多样性,以及重新考虑人类/AI混合知识工作的可信度。

除了审稿意见,论文作者也频繁使用ChatGPT。谷歌学术搜索显示,许多论文中包含ChatGPT的痕迹,用于总结、翻译、制作表格等。一些论文甚至将ChatGPT的按钮“Regenerate Response”复制进了正文。尽管许多出版机构并不禁止使用ChatGPT,但前提是要进行声明。

这项研究的发现和讨论指向了一个更广泛的问题:在AI技术日益进步的背景下,学术界如何合理地运用AI工具,以及这对学术诚信和创新的影响。这些问题的答案将对未来的学术研究和出版行业产生深远影响。论文的详细内容和方法可以在arXiv上找到。

原文和模型


【原文链接】 阅读原文 [ 1837字 | 8分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...