具有避免奖励函数篡改动机的智能体设计

从人工智能安全的角度来看,拥有一个清晰的设计原则和一个清晰的表明了它解决了什么问题的特性描述就意味着我们不必去猜测哪些智能体是安全的。在本文和这篇论文中,我们描述了一种称为当下奖励函数优化的设计原理如何避免奖励函数篡改问题。 … More 具有避免奖励函数篡改动机的智能体设计

AN #60 一个新的AI挑战:在创造性模式中帮助人类玩家的 Minecraft 智能体

我很高兴看到一个项目非常直接地定位在推断复杂环境中的最终用户意图。这似乎是该领域走向的一个伟大方向。我认为Minecraft也可以作为一个测试平台,研究人员或工程师 (而不是最终用户)试图让智能体做某事:我们可以在这里承担更多的专家经验和知识。理想情况下,这将使我们能够解决比最终用户使用自然语言更复杂的任务。我个人计划沿着这些方向与Minecraft合作。 … More AN #60 一个新的AI挑战:在创造性模式中帮助人类玩家的 Minecraft 智能体

AN #59 对人工智能风险的争论是如何随着时间而改变的

对于AI风险争论的转移 (Tom Sittler)由早期参数为AI安全焦点上存在风险的原因: 有着在AI能力上的尖锐的不连续跳跃的对齐失败。为了争论一个危险的转折,需要不连续性假设,例如:没有不连续性,我们可能会看到能力较弱的 AI 系统无法隐藏他们的错误对齐目标,或者试图欺骗我们而没有成功。同样,为了使 AI 系统获得决定性的战略优势,它需要比已经存在的所有其他 AI 系统更强大,这需要某种不连续性。 … More AN #59 对人工智能风险的争论是如何随着时间而改变的

用因果影响图建模通用人工智能安全框架

我们写了一篇论文,将用来设计安全通用人工智能(AGI)的各种框架(例如,带有奖励建模的强化学习,合作式逆强化学习 CIRL,辩论 debate 等)表示为因果影响图(CID),以帮助我们比较框架并更好地理解相应的智能体激励机制。 … More 用因果影响图建模通用人工智能安全框架

AN #58 Mesa 优化:这是什么,为什么我们应该关心它

在此处查找所有Alignment Newsletter资源。特别是,你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 强调 高级机器学习系统中学到的优化的风险 (Evan Hubinger等):假设你搜索一个程序空间,寻找能够很好地玩 TicTacToe 的程序。最初,你可能会发现一些很好的启发式方法,例如去中心广场,如果你沿着一行有两个,然后放置第三个,等等。但最终你可能会找到 minimax 算法,通过搜索最好的行动从而最优化自身行为。值得注意的是,你对程序空间的外部优化发现了一个程序 本身就是 一个针对可能行动进行搜索的优化器。用本文语言来说,minimax 算法是一个 mesa 优化器:一个由基本优化器自主发现的优化器,在这种情况下的搜索针对所有程序。 为什么这与人工智能有关?嗯,梯度下降是一种优化算法,它搜索神经网络的参数空间,以找到在某个目标函数上表现良好的参数集合。发生同样的事情似乎也很合理:梯度下降可以找到一个本身正在进行优化的模型。那个模型将成为 mesa 优化器,它优化的目标是 mesa 目标。请注意,虽然 mesa 目标应该导致与训练分布上的基目标类似的行为,但它不需要在偏离分布时这样。这意味着 mesa 目标是 伪对齐的 ; 它如果在偏离分布时也导致类似行为,它是 健壮的(Robust)对齐。 人工智能对齐的一个主要担忧是,如果强大的智能体优化了错误的目标,它可能会导致人类的灾难性后果。由于 mesa 优化器的可能性,这种担心加倍:我们需要确保基目标函数与人类对齐(称为 外部对齐)并且 mesa 目标与基目标对齐(称为 内部对齐)。一个特别令人担忧的方面是 欺骗性对齐:mesa 优化器具有长期的 mesa 目标,但知道它正在针对基目标进行优化。因此,它在训练期间优化了基目标以避免被修改,但在部署时,当被修改的威胁消失时,它就只追求 mesa 目标。 下面我们来举例说明动机,如果有人想要创建最好的生物复制器,他们可以合理地使用自然选择/进化作为这个目标的优化算法。然而,这将导致人类的创造,他们将是优化其他目标的 mesa 优化器,并且不优化复制(例如通过使用节育控制)。 本文有更多的细节和分析,哪些因素使得 mesa 优化更有可能,更危险等等。你必须阅读论文了解所有这些细节。一种通用模式是,当使用机器学习解决某些任务 X 时,有许多属性会影响学习启发式或代理的可能性,而不是实际学习针对 X 的最佳算法。对于任何此类属性,使启发式/代理更多可能会导致 mesa 优化的可能性降低(因为优化器不像启发式/代理),但是在 mesa … More AN #58 Mesa 优化:这是什么,为什么我们应该关心它

AN #57 为什么我们应该关注人工智能安全的健壮性和编程中的类似问题

在此处查找所有Alignment Newsletter资源。特别是,你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 强调 设计健壮及可靠的人工智能系统以及如何在人工智能中取得成功 (Rob Wiblin和Pushmeet Kohli) :(对于大篇幅的内容,我只是总结了突出要点,而忽略掉了播客中不相干的整个部分。) 在这个播客中,Rob 深入研究了 Pushmeet 关于使人工智能系统健壮的工作细节  。Pushmeet 并未特别将人工智能安全和人工智能能力区分 —— 构建良好人工智能系统的一部分是确保系统安全、稳健、可靠并且通用性良好。否则,如果它不会做我们想要的,我们为什么还要纠结使用它。他的目标是通过主动搜索违反规格的行为或通过形式验证神经网络的特定属性来提高健壮性。也就是说,他还认为这里面临的主要挑战之一是首先确定要验证的内容的规格。 他认为人工智能中的问题类似于编程和计算机安全中出现的问题。在编程中,通常情况是一个写下来的程序不能准确地匹配预期的规格,从而导致错误。通常我们只是接受这些错误发生,但对于亟需安全的系统,如交通信号灯,我们可以使用测试、模糊测试、符号执行和形式验证等技术,使我们能够在程序中找到这些错误。我们现在需要为机器学习系统开发这些技术。 这个类比可以更进一步。静态分析涉及与任何输入分开理解程序的属性,而动态分析涉及理解具有特定输入的程序。类似地,我们可以具有“静态”可解释性,它可以将模型理解为整体(如在  特征可视化中),或“动态”可解释性,这解释了模型对特定输入的输出。另一个例子是类似于验证神经网络属性的特定方法的程序抽象解释技术。 这个类比表明我们以前就已经面临人工智能安全问题,并且已经取得了实质性进展; 现在的挑战是应用在机器学习系统上。也就是说,通用人工智能系统存在一些独特的问题; 这不仅仅是规格问题。例如,我们应该如何与这样一个系统进行沟通是非常不清楚的,这个系统可能有自己的概念和模型,这些概念和模型与人类的概念和模型非常不同。我们可以尝试使用自然语言,但是如果我们这样做,就需要以人类的方式对自然语言进行研究,并且我们不知道如何做到这一点,尽管我们可以测试学习概念是否可以推广到新的设置。我们也可以试着研究机器学习模型的权重,分析它们是否有学到概念——但这需要我们已经有关于概念的形式化规格,这部分看起来很难获得。 Rohin的观点:  我非常喜欢编程和人工智能之间的这个类比; 通过自己思考这个比喻,我形成了很多想法。我同意这个类比意味着我们正试图解决之前在不同上下文环中曾解决过的问题,但我认为现在存在重大差异。特别是,针对长期人工智能安全,我们正在考虑在哪些错误可以是非常昂贵的设定, 并且 我们无法提供我们想要的形式化式规格。将此与交通信号灯进行对比,其中错误可能非常昂贵,但我猜我们可以提供需要遵守的安全约束的形式化规格。公平地说,Pushmeet 承认这一点,并强调规格学习是研究的一个关键领域,但对我来说,这感觉就像我们面临的先前问题的质的差异,而我认为 Pushmeet 会不同意(但我不确定为什么)。 阅读更多: 导向健壮和经验证的人工智能:规格测试,健壮训练和形式验证  (AN#52) 技术AI对齐 学习人的意图 观察的感知价值 (Ashley D. Edwards等人)  (由 Cody 总结):本文提出了一种技术,通过假设轨迹中的最后一个状态是达到目标的状态来学习原始专家轨迹观察,并且其他状态的价值与它们与示范轨迹中的终止状态的接近程度成正比。他们使用此作为训练模型预测价值和行动价值的基础,然后使用这些估计值来确定行动。 Cody的观点:  这个想法肯定会得到一个明确且易于实现的启发式点子,但我担心它可能会遇到与其目标导向假设不匹配的视频。 代表性强化学习 (Vanessa Kosoy):考虑具有“陷阱”的环境:永久限制智能体实现的长期价值的状态。没有人类的世界可能就是这样一个陷阱。如果新状态不像旧状态那样有效获得高回报,那么陷阱也可能在任何不可逆转的行动之后发生。 在这样的环境中,强化学习算法可以简单地不采取任何动作,在这种情况下,它会引起悔值(regret),即到目前为止的时间步数是线性的。(悔值是最优策略下的期望奖励与实际执行的政策之间的差异,因此如果最优政策的每个时间步的平均奖励为2且无所作为总是奖励 0,那么悔值将是 ~2T,其中 T 是时间步数,所以后悔在时间步数上是线性的。)我们能否找到一种RL算法,它能  保证  在时间步长的数量上保持次线性,无论环境如何? 不出所料,这是不可能的,因为在探索过程中,RL 智能体可能陷入陷阱,导致线性悔值。但是,我们假设我们可以委托一位了解环境的顾问:对于我们做得更好的顾问来说,一定是真的吗?显然,顾问必须能够始终避免陷阱(否则会出现同样的问题)。然而,这还不够:获得次线性悔值也需要我们进行足够的探索以最终找到最优策略。因此,顾问必须至少有一些小的概率成为最优,然后智能体可以从中学习。本文证明,有了这些假设,确实存在一种保证获得次线性悔值的算法。 … More AN #57 为什么我们应该关注人工智能安全的健壮性和编程中的类似问题