ICLR被曝巨大黑幕,评审和作者竟私下勾结?49.9%论文疑有AI审稿

AIGC动态3周前发布 AIera
73 0 0
ICLR被曝巨大黑幕,评审和作者竟私下勾结?49.9%论文疑有AI审稿

 

文章摘要


【关 键 词】 ICLR审稿论文接收审稿公正性AI辅助审稿审稿串通

在2024年的ICLR会议上,除了学术成果和学者本身,审稿程序也成为了热议的话题。有人在Reddit上发帖质疑审稿过程中存在违反匿名政策和不遵守双盲原则的情况。ICLR官方表示已收到超过7000封关于审稿问题的意见书,并已开始调查所谓的“串通”行为,即审稿人和领域主席通过操纵系统与特定作者匹配,给予高评价以提高论文接收率的行为。ICLR官方已发现多起审稿人与作者之间的勾结行为,并表示这些行为违反了道德守则,目前道德委员会正在审查并评估可能的处罚。

此外,关于评审委员会在审稿时能否使用AI工具的问题也引起了争议。ICLR的审稿特点是无论论文是否被接受,其评分和评审意见都会公开发布。洛桑联邦理工学院的研究人员利用ICLR 2024的公开数据研究了AI辅助评审的情况。他们使用了一个商用的LLM检测器GPTZero来评估所有的文字评审意见,并发现至少有15.8%的评审意见是由AI辅助生成的。研究还发现,AI辅助评审的评分普遍高于人类评分,且AI辅助的评审意见会增加论文被接收的可能性,特别是对于分数在接收线边缘的论文。

研究者们通过控制变量的方法追踪并量化了AI辅助评审对论文接收结果可能产生的影响。他们担忧,随着大语言模型的快速发展,审稿过程的准则和评价指标需要相应进化,否则AI可能会将其不成熟的价值观投射到学术论文的筛选过程中,尤其是那些含有更多观点和价值表述的论文,从而产生严重的危机。最后,作者分享了他们基于GPTZero打造的检测网站,可以检测ICLR论文是否被AI辅助评审。这项研究揭示了AI辅助评审在学术界的普及情况及其对学术评审制度的潜在影响,引发了对审稿公正性和透明度的进一步讨论。

原文和模型


【原文链接】 阅读原文 [ 2191字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4
【摘要评分】 ★★★☆☆

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...