Ilya彻底离开OpenAI！超级对齐团队解散！Sam Altman，摆脱束缚，OpenAI从此一骑绝尘？还是ChatGPT未来堪忧？ 

付费频道订阅： / @storytellerfan
Ilya彻底离开OpenAI！超级对齐团队解散！Sam Altman，摆脱束缚，OpenAI从此一骑绝尘？还是ChatGPT未来堪忧？
博客文章地址：lukefan.com/2024/05/21/ilya%e...
伊利尔在去年 11 月山姆奥特曼被董事会开除事件后，就逐渐淡出了公众视野，一直处于远程工作状态。最近，他终于正式离职，而他领导的超级对齐团队也随之解散，成员被打散到各个团队。超级对齐团队是 OpenAI 内部负责安全的团队，旨在确保模型输出符合人类价值观，但他们一直面临着算力不足以及与其他团队沟通不畅的问题。
OpenAI 的安全策略与其他公司不同，他们使用 "弱到强泛化" 的方法，用 GPT-2 训练的安全模型来监督 GPT-4。然而，随着 OpenAI 推出更多端到端的模型，如视频生成和语音到语音模型，这种方法变得越来越难以实施。
目前 OpenAI、Anthropic、Meta 和 Google 都采取了不同的安全策略，OpenAI 的超级对齐团队解散后，未来的产品发布可能会加速，但翻车概率也会增加。有人认为，"人类价值观" 本身缺乏明确标准，由公司来定义并不合适，或许政府或民间机构更适合进行监管。
伊利尔离开 OpenAI 后，可能会加入其他公司，如 XAI、英伟达、Meta 或亚马逊，也可能成立新的公司或非营利组织，继续致力于 AI 安全领域。OpenAI 在失去安全团队的制衡后，未来发展存在一定隐患，一旦产品造成巨大损失，后果不堪设想。
00:00:00 伊利尔彻底离开OpenAI，超级对齐团队解散
00:01:45 超级对齐团队的困境
00:03:19 超级对齐团队的人员流失
00:05:10 不同公司对 AI 安全的不同策略
00:06:39 OpenAI 的超级对齐方式
00:08:46 端到端模型带来的挑战
00:09:56 超级对齐团队的解散
00:13:01 超级对齐的价值
00:16:01 "人类价值观" 的标准问题
00:17:08 中国的 AI 监管方式
00:17:56 对未来的展望
00:19:21 伊利尔的未来
欢迎加入Discord讨论服务器：
/ discord