OpenAI正引发全球AI安全热战,我们将如何应对?|钛媒体AGI

OpenAI正引发全球AI安全热战,我们将如何应对?|钛媒体AGI

 

文章摘要


【关 键 词】 AI安全超级智能公司创办技术挑战安全检测

OpenAI联合创始人伊利亚·苏茨克维尔宣布创办一家名为“安全超级智能公司”(SSI)的新企业,专注于构建安全的超级智能。伊利亚与科技企业家Daniel Gross和前OpenAI科学家Daniel Levy在公司官网上发表联合声明,强调构建安全的超级智能是当今最重要的技术问题。

伊利亚离开OpenAI的主要原因是与CEO奥尔特曼在AI安全发展上的分歧。奥尔特曼倾向于加速AI商业化以获取更多资金支持,而伊利亚则更关注AI的安全性。去年11月,双方矛盾激化,导致OpenAI管理层发生变动,伊利亚最终在今年5月宣布离职。

国内AI安全公司瑞莱智慧的CEO田天指出,伊利亚的新公司是为了实现AI安全目标而设立的。包括伊利亚和图灵奖得主Geoffrey Hinton在内的专家认为,AI安全问题已经非常迫切,如果不及时解决,未来可能会错失机会。田天还提到,大模型在严肃场景下的应用案例很少,主要问题在于AI安全。如果不解决安全问题,AI在严肃场景中的应用将难以实现。

AGI(通用人工智能)被认为是具备和人类同等甚至超越人类智能的AI。伊利亚曾在采访中提到AGI对人类社会的潜在威胁,类比人类与动物的关系,认为AGI可能会完全按照自己的意愿行事。随着OpenAI推出第四代模型GPT-4并训练第五代模型GPT-5,AGI看似近在咫尺。

今年以来,AI安全问题引发广泛关注。美国一位流行歌手被AI生成虚假照片,香港一家公司遭遇“AI变脸”诈骗,损失高达2亿元港币。这些事件凸显了AI系统在设计上面临的五大安全挑战:软硬件安全、数据完整性、模型保密性、模型鲁棒性和数据隐私。

北京智源人工智能研究院学术顾问委员会主任张宏江在2024智源大会上表示,AI安全问题的严重性与紧迫性不容忽视。AI可能带来新的经济体系和潜在的灾难性风险或误用事故,甚至可能导致人类风险。月之暗面CEO杨植麟认为,AI安全虽然不一定是当前最急迫的问题,但需要提前准备。北京智源人工智能研究院理事长黄铁军表示,AI安全已进入风险突出的阶段,需要加强国际合作,确保AI技术可控。

瑞莱智慧推出全球首个可实时检测AI合成内容的产品RealBelieve,能够提供主动实时检测防护,变被动为主动。该产品基于贝叶斯深度学习技术开发,能够挖掘并建模多模态、多层次、多角度的AI合成线索,度量真假差异,并进行不确定性推理决策。瑞莱智慧已服务百余家政务、金融等领域客户,随着AI技术的发展,安全需求和问题也在不断提升。田天强调,如果现在不做好AI安全,未来可能没有机会。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 2797字 | 12分钟 ]
【原文作者】 钛媒体AGI
【摘要模型】 gpt-4o
【摘要评分】 ★★★★★

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...