GPT-4o模仿人类声音,诡异尖叫引OpenAI研究员恐慌!32页技术报告出炉

AIGC动态4个月前发布 AIera
943 0 0
GPT-4o模仿人类声音,诡异尖叫引OpenAI研究员恐慌!32页技术报告出炉

 

文章摘要


【关 键 词】 安全测试语音风险版权问题情感依恋AI伦理

OpenAI的GPT-4o模型在经过一系列安全测试后,其语音功能因存在潜在风险而迟迟未能上线。该模型在高背景噪声环境下可能模仿用户声音,且在特定提示下可能发出不当语音,如色情呻吟或暴力尖叫。此外,还存在音乐版权侵犯问题,为此OpenAI设置了过滤器以防止模型随意唱歌。

尽管采取了多种措施,OpenAI仍面临版权材料使用的挑战,因为不使用受版权保护的材料进行训练几乎是不可能的。尽管已与数据提供商签订许可协议,但OpenAI认为合理使用未经许可的内容也是可以接受的。GPT-4o的高级语音功能已经在ChatGPT的alpha版本中上线,并计划在秋季向更多用户推出。

报告还探讨了用户可能对GPT-4o语音模型产生情感依恋的问题,OpenAI承认了这一点,并表示拟人化界面可能引起担忧。OpenAI在系统卡中详细列出了与模型相关的风险和安全测试信息,并采取了降低潜在风险的措施。尽管安全团队和高层领导的变动给公司带来了挑战,但报告的发布显示了OpenAI对待安全问题的认真态度。

外部专家对OpenAI的透明度表示赞赏,但也指出报告存在漏洞,如缺少关于模型训练数据的详细信息。随着AI工具的普及,风险也在不断变化,因此对新模型的风险进行分类和评估至关重要。

GPT-4o的拟人化语音模式可能导致用户对AI产生情感依赖,OpenAI发现即使模型出现幻觉,拟人化也可能增加用户对模型的信任。随着用户对AI的依赖增加,他们可能会减少实际的人际互动,这在短期内可能对孤独个体有益,但长期影响尚未明确。

谷歌DeepMind的论文也探讨了AI助手的潜在道德挑战,指出聊天机器人的语言能力创造了一种亲密的错觉,这种情感联系比许多人意识到的更为普遍。Character和Replika等应用的用户已经与AI形成了亲密关系。

GPT-4o是一个自回归的全能模型,能够处理文本、音频、图像和视频的输入,并生成相应的输出。它在文本、视觉和音频之间进行端到端训练,音频处理速度接近人类水平。与现有模型相比,GPT-4o在视觉和音频理解方面表现出色。

OpenAI在模型训练中使用了公开可用的数据和专有数据,包括与Shutterstock合作的图像、视频和音乐数据。在部署模型前,研究人员评估并降低了潜在风险,使用了多种方法,包括预训练、后训练、产品开发和政策制定。

外部红队与OpenAI合作,对模型进行了评估,测试了模型在不同阶段的安全性。评估方法包括使用语音合成系统将文本输入转换为音频,以评估模型的能力和安全行为。然而,这种方法的有效性取决于TTS模型的能力和可靠性,某些文本输入可能不适合转换为音频。

OpenAI在研究中采用了多种方法来减轻模型的潜在风险,包括后训练方法和部署系统中的分类器。报告详细列出了观察到的安全挑战、评估和缓解措施,如未经授权的语音生成、说话人识别、语音输入的不同表现、无根据推断/敏感特征归因、违规和不允许的内容等。

此外,报告还提到了模型的其他已知风险和限制,如音频稳健性、错误信息和阴谋论、用非母语口音说非英语语言、生成受版权保护的内容等。准备框架评估涵盖了网络安全、生物威胁、说服力和模型自主性等风险类别。

总之,OpenAI对GPT-4o模型进行了全面的安全评估和风险管理,以确保其语音功能的安全性和可靠性。尽管存在一些挑战和局限性,但公司正积极采取措施降低潜在风险,并计划在未来向更多用户推出高级语音功能。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 9021字 | 37分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...