【资料图】

出品｜搜狐科技

编辑｜汉雨棣

大模型的通用能力渗透至生产生活的方方面面，也带来了更复杂的安全问题。9月7日，2023 INCLUSION·外滩大会上，中国科学院院士何积丰提出，可以用对齐技术为大模型“戴上紧箍咒”。

何积丰院士认为，大模型在训练与使用过程中均可能出现隐私泄漏。隐私泄露的问题，大模型的生成能力则让“隐私泄露”的方式变得多样化，造成隐私保护更加困难。

“为了应对这些问题，我们需要大模型对齐技术。”何积丰介绍，“对齐（alignment）”是指系统的目标和人类价值观一致，使其符合设计者的利益和预期，不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空，‘对齐’就是唐僧的紧箍咒。有了紧箍咒，就可以保证技术不会任意使用能力胡作非为。”

但是对齐同样需要技术。首先，对齐的基础是基于人类的价值观，而价值观是多元且动态的；其次，大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正。因此，对齐技术不仅考验技术，也审视文化。

何积丰介绍，反馈强化学习是实现对齐的技术途径，目前有两种方式，其一是通过人工反馈给模型不同的奖励信号，引导模型的高质量输出；另一种是事先给大模型提供明确的原则，系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着，不仅智能系统需要向人类价值观对齐，人类的训练方法也要向价值观对齐。”何积丰说，“人类与机器需要共同进步”。

责任编辑：