OpenAI安全研究员Rosie Campbell离职,引发对公司安全承诺的担忧

OpenAI安全研究员Rosie Campbell离职,引发对公司安全承诺的担忧

OpenAI政策研究员Rosie Campbell于近日宣布离职,这引发了外界对其公司安全承诺的进一步担忧。这是今年继多位安全研究员离职后,又一位关键人物的离开。

核心人物离职

Campbell在周六的Substack帖子中表示,她已完成在OpenAI的最后一周工作。她将离职原因归咎于10月份高级政策顾问Miles Brundage的离职,Brundage领导的AGI Readiness团队随后解散,成员被分散到公司不同部门。

AGI Readiness团队负责为公司提供关于世界如何安全管理AGI(通用人工智能)的建议,AGI是一种理论上可以与人类智能匹敌或超越的人工智能。Campbell在帖子中回应了Brundage离职的理由,表示希望有更多自由来解决影响整个行业的问题。“我一直强烈致力于确保安全和有益的AGI,在Miles离职和AGI Readiness团队解散后,我相信我可以更有效地在外部追求这一目标,”她写道。

公司战略调整引发的担忧

Campbell承认OpenAI仍然处于研究前沿,尤其是在关键的安全研究方面。她表示,在OpenAI工作期间,参与了危险能力评估、数字感知和管理代理系统等前沿政策问题研究。“我很高兴公司支持这种被忽视的、有点奇怪的政策研究,当你认真对待转型AI的可能性时,这些研究就变得很重要。”

然而,她表示,在过去的一年里,她“对公司轨迹中的一些转变感到不安”。

今年9月,OpenAI宣布改变治理结构,转型为营利性公司,这距离其最初作为致力于创造通用人工智能的非营利组织成立近十年。一些前员工质疑此举是否会损害公司以造福人类的方式开发技术的使命,转而更积极地推出产品。其销售主管告诉《The Information》,自6月以来,该公司增加了约100名销售人员,以赢得商业客户,并利用人工智能的“范式转变”。

OpenAI回应及行业影响

OpenAI首席执行官Sam Altman表示,这些变化将帮助公司获得实现其目标所需的资金,包括开发造福人类的通用人工智能。“简单来说,我们需要比我们想象中能吸引到的资金多得多——不是我们认为,而是我们尝试过——作为非营利组织,我们无法吸引到那么多资金,”Altman在5月份哈佛商学院的一次采访中说。

他最近表示,OpenAI不应独自承担设定人工智能安全行业标准的责任。“这应该是社会的问题,”他在接受福克斯新闻周日节目主持人Shannon Bream采访时说。“不应该由OpenAI独自决定ChatGPT或该技术如何在一般情况下使用或不使用。”

自Altman去年被短暂罢免以来,多位知名研究人员离开了OpenAI,包括联合创始人Ilya Sutskever、Jan Leike和John Schulman,他们都表达了对OpenAI安全承诺的担忧。OpenAI尚未立即回应Business Insider的置评请求。

总结

Campbell的离职以及此前其他安全研究人员的相继离开,凸显了OpenAI在安全与商业利益之间平衡的挑战。公司战略调整、营利化转型以及对安全研究团队的削减,都引发了外界对其长期安全承诺的质疑,并对人工智能行业整体的安全发展带来隐忧。

原创文章,作者:睿鸿在线,如若转载,请注明出处:https://mip.orihonor.com/2024/12/03/20284.shtml

Like (0)
睿鸿在线睿鸿在线
Previous 2024年12月3日 上午1:49
Next 2024年12月3日 上午2:01

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注