让 AI “读懂”人类价值观！朱松纯团队工作登上 Science 头条( 二 ) 今日（7月14日）

从倾听者的角度来看，传统人工智能算法（如逆强化学习（IRL）等）能够将交互数据与机器学习算法相结合，以学习特定任务中用户的价值目标，即通过输入用户在特定任务中的行为方式，来恢复行为背后的奖励函数。然而，在众多实际且重要（如军事和医疗领域）的应用中，数据的获取经常十分昂贵。这些机器学习方法对大型数据集的依赖是无法应对即时互动的人机协作场景的。
从表达者的角度来看，可解释人工智能（XAI）的引入是为了促进人机之间达成共识。当前的XAI系统通常强调的是对“模型如何产生决策过程”的解释。然而，不管用户有多少主动的输入或互动，都只能影响机器“生成解释”的过程，而不影响机器“做出决策”的过程。这是一种单向的价值目标对齐，我们称之为静态机器-动态用户的交流，即在这种协作过程中只有用户对机器或任务的理解发生了变化。
2研究方法为了完成人与机器之间价值目标的双向对齐，需要一种人类价值主导的、动态机器-动态用户的交流模式。在这样一种新的模式中，机器人除了揭示其决策过程外，还将根据用户的价值目标即时调整行为，从而使机器和人类用户能够合作实现一系列的共同目标。为了即时掌握用户信息，我们采用通讯学习取代了传统数据驱动的机器学习方法，机器将根据所推断出的用户的价值目标进行合理解释。这种合作导向的人机协作要求机器具有心智理论（ToM），即理解他人的心理状态（包括情绪、信仰、意图、欲望、假装与知识等）的能力。心智理论最早在心理学和认知科学中被研究，现已泛化到人工智能领域。心智理论在多智能体和人机交互环境中尤为重要，因为每个智能体都要理解其他智能体（包括人）的状态和意图才能更好地执行任务，其决策行为又会影响其他智能体做出判断。设计拥有心智理论的系统不仅在于解释其决策过程，还旨在理解人类的合作需求，以此形成一个以人类为中心、人机兼容的协作过程。
为了建立一个具有上述能力的AI系统，本文设计了一个"人机协作探索"游戏。在这个游戏中，用户需要与三个侦察机器人合作完成探索任务并最大化团队收益。本游戏设定：1、只有侦察机器人能直接与游戏世界互动，用户不能直接控制机器人的行为；2、用户将在游戏初始阶段选择自己的价值目标（例如：最小化探索时间，收集更多的资源，探索更大的区域等），机器人团队必须通过人机互动来推断这个价值目标。这样的设置真实地模仿了现实世界中的人机合作任务，因为许多AI系统都需要在人类用户的监督下，自主地在危险的环境中运行（如在核电站有核泄漏的情况下）。
要成功地完成游戏，机器人需要同时掌握“听”和“说”的能力来实现价值双向对齐。首先，机器人需要从人类的反馈中提取有用的信息，推断出用户的价值函数（描述目标的函数）并相应地调整它们的策略。其次，机器人需要根据它们当前的价值推断，有效地解释它们"已经做了什么"和"计划做什么" ，让用户知道机器人是否和人类有相同的的价值函数。同时，用户的任务是指挥侦查机器人到达目的地，并且使团队的收益最大化。因此，用户对机器人的评价也是一个双向的过程，即用户必须即时推断侦察机器人的价值函数，检查其是否与人类的价值函数相一致。如果不一致，则选择适当的指令来调整他们的目标。最终，如果系统运行良好，侦察机器人的价值函数应该与人类用户的价值函数保持一致，并且用户应该高度信任机器人系统自主运行。