当前位置: 首页 >热点 > 正文

中国科学院院士何积丰:“对齐”技术解决大模型安全问题

2023-09-07 17:25:51 来源:搜狐科技


【资料图】

出品|搜狐科技

编辑|汉雨棣

大模型的通用能力渗透至生产生活的方方面面,也带来了更复杂的安全问题。9月7日,2023 INCLUSION·外滩大会上,中国科学院院士何积丰提出,可以用对齐技术为大模型“戴上紧箍咒”。

何积丰院士认为,大模型在训练与使用过程中均可能出现隐私泄漏。隐私泄露的问题,大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。

“为了应对这些问题,我们需要大模型对齐技术。”何积丰介绍,“对齐(alignment)”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就可以保证技术不会任意使用能力胡作非为。”

但是对齐同样需要技术。首先,对齐的基础是基于人类的价值观,而价值观是多元且动态的;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正。因此,对齐技术不仅考验技术,也审视文化。

何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,其一是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种是事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着,不仅智能系统需要向人类价值观对齐,人类的训练方法也要向价值观对齐。”何积丰说,“人类与机器需要共同进步”。

责任编辑:

标签:

返回顶部