Category: AI Safety
-
AN #103 ARCHES:存在性安全的议程和组合自然语言的深度强化学习
中文版 对齐周报第 103 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 关于人类存在性安全的人工智能研究注意事项 (Andrew Critch 等人)(由 Rohin 总结):CHAI 之外的研究议程直接处理长期主义者关注的问题:如何预防与人工智能相关的存在性灾难。这与“可证明有益”的概念明显不同:可证明有益的一个关键挑战是定义我们甚至所说的“有益”。相比之下,有一些预防人工智能引起的人类灭绝的途径并不需要了解“有益的”:最易见的是,我们可以进行协调以决不构建可能导致人类灭绝的人工智能系统。 由于重点放在人工智能系统的影响上,因此作者需要为此类人工智能系统重新命名。他们将强大的人工智能系统定义为不受人类控制的人工智能系统,并有可能以至少与整个人类一样具有影响力的方式改变世界。这样的人工智能系统不必是超级智能的,甚至不需要通用人工智能。它可能在狭窄的领域中具有强大的功能,例如技术自主性、复制速度或能够实现优势的社交敏锐度。 根据定义,强大的人工智能系统能够彻底改变世界。但是,人类持续生存有许多条件,而世界上的大多数变革都不会保留这些条件。(例如,考虑地球的温度或大气的成分。)因此,人类灭绝是部署强大的人工智能系统的默认结果,只有在该系统旨在保护人类存在的前提下,才可以避免灭绝人类。相对于其动作的重要性而言,精度很高。他们将未对齐的强大的人工智能系统(MPAI)定义为部署会导致人类灭绝的系统,因此主要目标是避免 MPAI 的部署。 作者将 MPAI 的部署风险分为五个子类别,具体取决于开发人员的信念、行为和目标。人工智能开发人员可能无法预测优势,无法预测未对齐,无法与其他团队协调部署形成 MPAI 的系统,偶然(单方面)部署 MPAI 或有意(单方面)部署 MPAI。还有一些危险的社会条件可能会增加风险的可能性,例如不安全的种族发展、人类的经济转移、人类的软弱无力以及完全避免谈论存在性风险。 从风险转到解决方案,作者根据他们所考虑的设置沿三个轴对研究方向进行了分类。首先,有一个或多个人;第二,有一个或多个人工智能系统;第三,它是否帮助人们理解,指导或控制人工智能系统。因此,多/单指令将涉及多个人指令一个人工智能系统。尽管我们最终将需要多重/多重场景,但是前面的情况是较容易解决的问题,从中我们可以获取有助于解决一般多重/多重情况的见解。同样,理解可以帮助指导,两者都可以帮助控制。 然后作者继续列出 29 个不同的研究方向,在此不再赘述。…
-
AN #104 无法访问的信息带来的危险,以及我们可以从 COVID 了解到的有关人工智能对齐的经验
中文版 对齐周报第 104 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 不可访问的信息 (Paul Christiano)(由 Rohin 总结):思考人工智能对齐问题的一种方法是,我们只知道如何在我们可访问的信息上训练模型,但是我们希望模型利用不可访问的信息。 如果可以直接检查信息,或者在接受其他一些可访问信息训练后,ML模型是否可以成功迁移以提供信息,则可以访问信息。(后者的一个例子是,如果我们训练了一个系统来预测一天中发生的事情,并且成功地将其转换为预测一个月中发生的事情。)否则,信息将无法访问:例如,“Alice 在想什么” (至少目前)无法访问,而“爱丽丝会说什么”则可以访问。该帖子还有其他几个示例。 请注意,虽然 ML 模型可能无法直接准确地说出 Alice 的想法,但是如果我们训练它预测 Alice 的想法,它可能会具有 Alice 的想法的内部模型,因为这对于预测 Alice 的想法很有用。但是,由于无法从模型中提取此信息,因此无法访问。尽管我们可以训练模型以输出“Alice 在想什么”,但由于我们没有基本的事实答案,因此必须训练“对 Alice 在想什么的一致且合理的答案”。这可能会激励制定出我们最相信的错误策略,而不是报道事实。 风险论据如下:我们关心无法访问的信息(例如,我们关心人们实际体验的内容,而不是人们所说的体验的内容),但不能轻易使人工智能系统对其进行优化。但是,人工智能系统将能够推断和使用无法访问的信息,并且胜过那些无法访问的信息。人工智能系统将能够针对至少某些目标使用此类不可访问的信息进行规划。然后,使用无法访问的信息进行规划的人工智能系统最终可以控制大多数资源。关键语录:“不利于我们的关键不对称因素是,要想使繁荣发展,似乎需要获取特定数量的物品,而危险则需要具备访问任何物品的能力。”…
-
AN #100 智能体在执行时学习奖励函数 可能会出问题
中文版 对齐周报第 100 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 在线学习奖励函数的陷阱 (Stuart Armstrong 等人)(由 Rohin 总结):学习要尝试优化的指标可能很危险:如果未正确设置,可能会激励智能体以在度量学习中“朝特定方向更新”,以便将来进行优化(先前在朝着交互式逆向强化学习中提出的观点)。本文分析了当智能体同时学习奖励函数时可能出现的问题,并对该奖励函数进行优化。 智能体可能有动机来“操纵”奖励学习过程,从而找到易于优化的奖励函数。例如,假设有一个学生 Sandra,她必须从 Trisha 老师那里弄清楚项目的截止日期和评估标准。Sandra 希望如果她问 Trisha 截止日期是什么时候,她会说截止日期是本周晚些时候。因此,Sandra 可能会巧妙地问:“该项目是下周还是再下周?”,Trisha 可能会在“下周”做出回应。这样,Sandra 可以操纵截止日期学习过程,以便获得更有利的截止日期。 更糟糕的是,在这种情况下,严格控制学习过程可能会破坏你正在考虑的每个奖励函数的值。例如,让我们假设,如果无法操纵 Trisha,那么 Sandra 的最佳策略将是立即开始该项目,而不管实际的截止日期是什么时候。但是,鉴于 Trisha 可以被操纵,Sandra 今天将花费其操纵…
-
第 98 期对齐周报 通过查看哪些梯度有用来了解神经网络训练
对齐周报第 98 期 对齐周报是每周出版物,其中包含与全球人工智能对齐有关的最新内容。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 强调 LCA:用于神经网络训练的损失变化分配 (Janice Lan等人)(由 Robert 总结):本文介绍了损失变化分配(LCA)方法。该方法的目的是深入了解和理解深度神经网络的训练过程。该方法计算每次训练迭代中每个参数之间(在整个训练集上)总损失变化的分配,将其迭代优化,直到近似误差总体上小于 1%。损失变化分配可以是正数,也可以是负数;如果为负,则表示该参数在该迭代过程中对训练有帮助;如果为负,则该参数会损害训练。假定此测量是按参数和按迭代进行的,则可以将其汇总为按层 LCA,或对参数和训练迭代进行任何其他汇总。 作者使用该方法获得了对几种小型神经网络(在 MNIST 和 CIFAR-10 上进行训练)的训练过程的许多见解。 首先,他们验证学习非常嘈杂,平均每次迭代只有一半参数会有所帮助。该分布比正态分布重尾,并且相当对称。但是,参数倾向于在帮助和伤害之间交替,并且每个参数仅倾向于在大约 50% 的时间内帮助。 其次,他们查看了 LCA 汇总的每层,对整个训练过程进行了汇总,并显示出在 CIFAR ResNet模型中第一层和最后一层对总体造成了损害(即 LCA 为正)。为了纠正这种情况并理解原因,作者尝试冻结这些层,或降低其学习率。第一层无法固定(冻结使它的 LCA 为 0,但第二层的 LCA…
-
规格欺骗:人工智能创造力的另一面
作者:维多利亚·克拉科夫娜(Victoria Krakovna),乔纳森·上萨(Jonathan Uesato),弗拉基米尔·米库里克(Vladimir Mikulik),马修·拉赫兹(Matthew Rahtz),汤姆·埃弗里特(Tom Everever),拉玛娜·库玛(Ramana Kumar),扎克·肯顿(Zac Kenton),杨·雷克(Jan Leike),沙恩·莱格(Shane Legg)—— DeepMind 人工智能安全团队 译者:朱小虎(Xiaohu Zhu)—— Center for Safe AGI 创始人 本文交叉发布在 DeepMind 的官方网站上。 规格欺骗是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称,我们都有过规格欺骗的经验。读者可能已经听说过迈达斯国王的神话和点石成金的故事,其中国王要求将他接触的任何东西都变成黄金 —— 但很快就发现,甚至是食物和饮料也变成了他手中的金属。在现实世界中,当学生因在一项家庭作业上的出色表现而获得奖励时,他可能会抄袭另一个学生来获得正确的答案,而不是通过学习材料,从而利用了任务规格中的漏洞。 在人工智能体的设计中也会出现这个问题。例如,强化学习智能体可以找到一条获得大量奖励的捷径,而无需按照人工设计者的意图完成任务。这些行为很常见,到目前为止,我们已经收集了大约 60 个示例(汇总了现有 列表和人工智能社区的持续贡献)。在这篇文章中,我们回顾了规格欺骗的可能原因,分享了在实践中发生这种情况的案例,并争论了关于解决规格问题的原则方法的进一步工作。 让我们来看一个例子。在乐高积木堆叠任务中,理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时,会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部,而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标(红色方块的高底面),而牺牲了设计人员实际关心的内容(将其堆叠在蓝色方块的顶部)。 我们可以从两个不同的角度考虑规格欺骗。在开发强化学习(RL)算法的范围内,目标是构建学会实现给定目标的智能体。例如,当我们使用 Atari 游戏作为训练强化学习算法的基准任务时,目标是评估我们的算法是否可以解决困难的任务。在这种情况下,智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看,规格欺骗是一个好的信号 ——…
-
新研究工作简介:塑造行为的动机
从长远来看,我们的愿望是,当研究人员预期可能存在的安全性或公平性问题时,他们会使用此理论对其人工智能系统进行动机分析。在应用我们的图标准来自动识别存在哪些动机之前,通常需要绘制一个因果图来说明各种智能体的程序组件如何组合在一起,并就应该存在(或不存在)哪些动机做出判断。在非常乐观的情况下,动机分析将成为建立人工智能系统可信赖性的标准工具,类似于使用统计方法描述人工智能性能的方法。但是从短期来看,我们需要进行一些研究工作来使这些方法更为有用,因此也很乐意在大家需要的地方提供建议。
-
AN #75 用学到的游戏模型解决 Atari 和围棋问题以及一位 MIRI 成员的想法
到目前为止,免模型强化学习方法在 Atari 等视觉丰富的领域一直是最新技术,基于模型的强化学习对于需要提前规划许多步骤的游戏(例如围棋,国际象棋和将棋)都非常出色。本文使用基于模型的方法 MuZero 在 Atari 上获得了最先进的性能,同时在围棋、国际象棋和将棋上达到了 AlphaZero (AN#36)水平,同时使用了较少的计算量。重要的是,它不需要任何游戏规则方面的知识就可以做到这一点。
-
AN #74 将向善的人工智能分解为能力、对齐和应对影响
第三,分类与我们开发的人工智能系统的细节相对不可知 —— 这些仅显示在第 4 级中,其中 Paul 指出他主要考虑的是学习方式的对齐,而不是规划和演绎。如果考虑其他类型的人工智能系统,我尚不清楚分解的高的层面在多大程度上有意义:如果我认为分解不如强大的演绎算法带来的风险那么好,我不会感到惊讶这将取决于演绎算法如何变得如此强大的细节。看到更多的工作提出了更强大的通用人工智能系统的更具体的模型,并对这些模型中的风险进行推理,我会感到特别兴奋,就像《学习型优化的风险》 (AN#58)中所做的那样。
-
AN #73 通过了解智能体如何崩溃来检测灾难性故障
在安全至关重要的领域中,一个重要的问题是准确估计灾难性故障的可能性很小:百万分之一与十亿分之一有很大不同。标准的蒙特卡洛方法需要数百万或数十亿次试验才能找到单个故障,这是非常昂贵的。本文建议在训练过程的早期使用智能体来为学习的失败概率预测器提供信号。例如,对于仿人机器人,故障定义为机器人摔倒。在早期智能体上训练神经网络,以预测智能体从给定状态跌落的可能性。为了评估最终智能体,根据神经网络认为状态导致故障的可能性对状态进行重要性抽样。这基于这样的假设,即最终智能体的故障模式与早期智能体的某些故障模式相似。总体而言,该方法将准确估计故障概率所需的样本数量减少了多个数量级。