“我很好奇接下来会发生什么，我们可能会尝试按顺序推出GPT-5模型，但不会很快。”在2023智源大会关于AI安全与对齐的论坛上，当被问到下一步的研发方向时，OpenAI联合创始人、CEO山姆·奥特曼（Sam Altman）表示。

目前，山姆正在进行他的全球之旅，这已经是第四周，期间他已经去到五个大洲的近20个国家，与学生、开发人员和国家元首会面。今天上午，他以视频连线的方式现身智源大会论坛，就推动AI安全的话题发表演讲，并接受了智源研究院理事长张宏江的访谈。

山姆表示，已经看到世界各地的人们使用人工智能技术，带来令人难以置信的生活方式的改变。因此这也使得讨论需要建立的监管护栏，以确保日益强大的人工智能系统得到安全可靠的部署，变得越发重要。

(相关资料图)

他认为，技术进步遵循指数曲线，而当前AI正以极大的影响和极快的速度发展，并扩展人类想象的画布。在下一个十年里，通用人工智能系统（AGI）将几乎在所有领域超越人类的专业知识，这些系统最终可能会超过最大公司的生产力。

“人工智能革命将创造共享财富，并使得大幅提高每个人的生活水平成为可能。为了实现这一目标，我们必须共同管理风险。”山姆表示，随着日益强大的AI系统的出现，以及对医疗、粮食生产和环境平衡等带来的潜在问题，推进AGI安全将是全球合作最重要的领域之一。

山姆表示，这需要从两个方面开始。第一是AGI治理，并应该在促进和引导AI对齐和安全研究方向进行投资。“AGI将从根本上改变我们的文明，这是一项具有全球影响的全球技术，不计后果的开发和部署所造成的事故成本将影响到所有人。”

同时，他还特别强调了国际合作和协调的必要性。首先需要建立国际规范和标准，并注意过程中注重包容性。在任何国家使用AGI系统，都应平等而一致地遵循这样的国际标准和规范。在这些安全护栏内，让人们有足够的机会做出自己的选择。

当然，山姆也认识到这并非易事，大国之间经常存在分歧，但在重要的大事上，还是需要协调与合作，寻找共同利益点。

“千里之行，始于足下。”他引用老子《道德经》中的这句话，认为最具建设性的第一步是与国际科学和技术界合作，特别是应该在技术进步方面增加透明度和知识共享的机制，同时尊重和保护知识产权，这些将为深化合作打开新的大门。

“随着我们日益接近AGI的时代，没有对齐的AI系统的潜在影响力和影响规模将成倍增长。现在积极主动地解决这些挑战，能将未来出现灾难性结果的风险降到最低。”山姆在演讲中强调称。

张宏江向山姆·奥特曼提问

不过，在与张宏江的对话中，山姆表示，很难预测我们离安全的AGI还有多远，但能够确信的是很有可能在未来10年内能够拥有非常强大的AI系统。“我认为把AGI安全做好是重要而紧迫的，这是我为什么呼吁国际社会共同努力的原因。”

山姆提到，OpenAI在如何让AI系统成为更安全有用的系统上，进行了AI对齐研究。这主要是利用人类反馈进行强化学习来训练模型，使其成为一个有帮助的安全助手。

“从GPT4完成预培训到我们部署它，我们专门花了8个月的时间来进行对齐方面的工作。GPT4 比我们以前的任何模型都更加与人类对齐。”但山姆也表示，对于更先进的系统，对齐仍然是一个未解决的问题，这需要新的技术方法，同时增强治理和监督。

他认为，未来的AGI系统或许具有10万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。因此，OpenAI正在致力于研究一些新的和互补的研究方向，希望能实现突破。

其中一个是可扩展监督，即尝试使用 AI 系统来协助人类监督其他AI系统输出中的缺陷。第二个是可解释性，尝试更好地了解这些模型内部发生了什么。“我们还有很长的路要走，但先进的机器学习技术可以进一步提高我们解释的能力。”

山姆认为，实现AGI安全是一个非常复杂的问题，集中精力确保解决安全方面的技术问题非常重要，同时不仅要考虑模型本身的安全性，还要确保整个系统的安全性。

“我也认为很难提前预测任何技术会出现的所有问题，因此，从现实世界的使用中学习并部署，看看当真正创造现实并改进它时会发生什么，并思考这些模型将如何以好的和坏的方式与人进行互动，这也很重要。”山姆说。

此外，山姆还在对话中回应称，随着时间的推移，OpenAI将会在未来继续开源更多和更大的模型，但目前没有具体的模型或时间表。他认为，开源确实在模型发展中扮演了重要的角色，但开源可能不是最佳路径，需要把握平衡。

山姆表示，最终的目标是训练AI系统来帮助进行对齐研究。这种方法的好处在于，它可以随着AI的发展速度而扩展。“获得AGI带来的非凡好处，同时降低风险，是这个时代的开创性挑战之一。”

他在最后呼吁，世界各地的研究人员都有很大的潜力实现共同的目标，并致力于努力解决AGI对齐带来的突出技术挑战。“如果我们这样做，我相信我们将能够利用AGI来解决世界上最重要的问题，并极大地改善人类的生活质量。”

责任编辑：