AN #63 架构搜索,元学习和环境设计可以怎样去产生通用人工智能?

在此处查找所有Alignment Newsletter资源。特别是,您可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 您可以通过回复此电子邮件将其发送给我。 音频版本  在这里  (可能还没有)。 强调 AI-GAs:AI生成算法,一种生成通用人工智能的替代范例 (Jeff Clune)  (由 Yuxi Liu 和 Rohin 总结):历史上,  痛苦的教训  (AN#49)告诉我们是那种增加用于学习的算力的方法优于那些积累了大量知识的方法。目前对 AGI 的理念似乎是我们将提出一系列构建模块(例如卷积、变换器、信任区间、GAN、主动学习和课程表法),我们将以某种方式手动组合成一个复杂的强大的 AI 系统。不再需要这种手动方法,而是可以再次应用学习,提供 AI 生成算法或 AI-GA 的范例。 AI-GA 有三大支柱。第一个是  学习架构:这类似于超级动力神经架构搜索,可以在没有任何硬编码的情况下发现卷积、循环和注意力机制。第二是  学习学习算法,即元学习。第三个也是研究得最不充分的支柱是学会  创造复杂多样的环境  来训练我们的智能体。这是元学习的自然延伸:通过元学习,您必须指定智能体应该执行的任务分发; 简单地说 AI-GA 是要学习这种分发。 POET  (AN#41)是该领域最近工作的一个例子。 我对 AI-GA 范式持乐观态度的一个强烈理由是它模仿人类产生的方式:自然选择是一种非常简单的算法,具有  大量  计算和非常复杂多样的环境能够产生通用智能:人类。由于它需要更少的构建块(因为它旨在学习所有东西),它可以比手动方法更快地成功,至少如果所需的计算量不是太高。它也比“手动”方法更容易被忽视。 但是,这里存在安全问题。任何来自 AI-GA 的强人工智能都将难以理解,因为它是通过这种大量计算产生的,所有东西都是习得的,因此很难获得符合我们价值观的 AI。此外,通过这样一个过程,强大的人工智能系统似乎更有可能“让我们感到惊讶” —— 在某些时候及其罕见的情况出现,然后巨大算力得到一个好的随机选择,突然它一下输出一个非常强大和采样高效的学习算法(又称 AGI,至少也需通过一些定义)。还有道德问题,因为我们最终会模仿进化,我们可能会意外地实例化大量可能受到影响的模拟生物(特别是如果环境具有竞争性,就会如同进化的情形那样)。 Rohin 的观点:特别是考虑到算力的  增长  (AN#7),这个议程似乎是追求获得 AGI 的自然选择。不幸的是,它也非常密切地反映了Mesa … More AN #63 架构搜索,元学习和环境设计可以怎样去产生通用人工智能?

AN #62 对抗性样本是由真实但难以察觉的特征引起的吗?

在此处查找所有Alignment Newsletter资源。特别是,你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 音频版本  在这里  (可能还没好)。 强调 召唤 Alignment Newsletter 贡献者 (Rohin Shah):我正在寻找内容创作者和本期简报的发行人!请在 9 月 6 日前申请。 对抗性的例子不是错误,它们是特征 (Andrew Ilyas,​​Shibani Santurkar,Dimitris Tsipras,Logan Engstrom等)(由Rohin 和 Cody总结):Distill 发表了对本文的讨论。这个重点部分将涵盖整个讨论; 所有这些摘要和意见都应该一起阅读。 考虑两种可能的对抗性样本的解释。首先,它们可能是因为模型“幻觉”一个对分类无用的信号而引起的,并且它对这个特征变得非常敏感。我们可以将这些“错误”称为“错误”,因为它们并不能很好地概括。第二,他们可以通过该功能引起的  不  推广到测试集,而是  可以  通过对抗扰动进行修改。我们可以将这些称为“非健壮特征”(与“健壮特征”相反,而这些特征不能通过对抗性扰动来改变)。作者认为,基于两个实验,至少有一些对抗性扰动属于第二类,即有信息但敏感的特征。 如果“幻觉”的解释是正确的,那么幻觉可能是由训练过程,架构的选择,数据集的大小引起的,  而不是由数据类型引起的。因此,要做的一件事就是看看我们是否可以构建一个数据集,使得在该数据集上训练的模型在没有对抗训练情况下  已经很  健壮了。作者在第一个实验中这样做。他们采用经过对抗地训练得到的健壮的分类器,并创建其特征(健壮分类器的最终激活层)与某些未修改输入的特征匹配的图像。生成的图像仅具有健壮的特征,因为原始分类器是健壮的,并且实际上在该数据集上训练的模型是自动变得健壮的。 如果“非健壮特征”的解释是正确的,那么模型应该可以在仅包含非健壮特征的数据集上学习(这对于人类来说看起来毫无意义),并且  仍然可以推广到看似正常的测试集。在第二个实验(以下称为 WrongLabels)中,作者构建了这样一个数据集。他们的假设是,对抗性扰动通过引入目标类的非健壮特征而起作用。因此,为了构建他们的数据集,他们采用带有原始标签 y 的图像 x,对某些类 y’ 进行对抗扰动以获得图像x’,然后将(x’,y’)添加到他们的数据集中(即使对于人类而言) x’ 看起来像类 y)。它们有两个版本:在 RandLabels 中,目标类 y’ 是随机选择的,而在 DetLabels 中,y’ 被选择为 y … More AN #62 对抗性样本是由真实但难以察觉的特征引起的吗?

具有避免奖励函数篡改动机的智能体设计

从人工智能安全的角度来看,拥有一个清晰的设计原则和一个清晰的表明了它解决了什么问题的特性描述就意味着我们不必去猜测哪些智能体是安全的。在本文和这篇论文中,我们描述了一种称为当下奖励函数优化的设计原理如何避免奖励函数篡改问题。 … More 具有避免奖励函数篡改动机的智能体设计

用因果影响图建模通用人工智能安全框架

我们写了一篇论文,将用来设计安全通用人工智能(AGI)的各种框架(例如,带有奖励建模的强化学习,合作式逆强化学习 CIRL,辩论 debate 等)表示为因果影响图(CID),以帮助我们比较框架并更好地理解相应的智能体激励机制。 … More 用因果影响图建模通用人工智能安全框架

导向健壮和经验证的人工智能:规格测试,健壮训练和形式验证

By Pushmeet Kohli, Krishnamurthy (Dj) Dvijotham, Jonathan Uesato, Sven Gowal, and the Robust & Verified Deep Learning group. This article is cross-posted from DeepMind.com.Translated by Xiaohu Zhu, University AI Bugs 和软件自从计算机程序设计的开始就是形影相随的。经过一段时间后,软件开发者们已经建立了一个最佳的在部署之前测试和调试的实践集,但是这些实践对现代深度学习系统并不太适用。今天,在机器学习领域的广泛实践是在一个训练数据集上训练系统,然后在另一个集合上进行测试。虽然这揭示了模型的平均情况性能,但即使在最坏的情况下,确保健壮性或可接受的高性能也是至关重要的。在本文中,我们描述了三种严格识别和消除学习到的预测模型中错误的方法:对抗性测试,健壮学习和形式验证。 机器学习系统默认不太健壮。即使在特定领域中表现优于人类的系统,如果引入微妙差异,也可能无法解决简单问题。例如,考虑图像扰动的问题:如果在输入图像中添加少量精心计算的噪声,那么比人类更好地对图像进行分类的神经网络会轻易地误以为树懒是赛车。 这不是一个全新的问题。计算机程序总是有 bugs。几十年来,软件工程师汇集了令人印象深刻的技术工具包,从单元测试到形式验证。这些方法在传统软件上运行良好,但是由于这些模型的规模和结构的缺乏(可能包含数亿个参数),因此采用这些方法来严格测试神经网络等机器学习模型是非常具有挑战性的。这需要开发用于确保机器学习系统在部署时健壮的新方法。 从程序员的角度来看,错误是与系统的规范(即预期功能)不一致的任何行为。作为我们解决智能问题的使命的一部分,我们对用于评估机器学习系统是否与训练集和测试集一致,以及描述系统的期望属性的规格列表的技术进行研究。这些属性可能包括对输入中足够小的扰动的健壮性,避免灾难性故障的安全约束,或产生符合物理定律的预测。 在本文中,我们将讨论机器学习社区面临的三个重要技术挑战,因为我们共同致力于严格地开发和部署与所需规格可靠一致的机器学习系统: 有效地测试与规范的一致性。我们探索有效的方法来测试机器学习系统是否与设计者和系统用户所期望的属性(例如不变性或健壮性)一致。揭示模型可能与期望行为不一致的情况的一种方法是在评估期间系统地搜索最坏情况的结果。 训练机器学习模型是与规格一致的。即使有大量的训练数据,标准的机器学习算法也可以产生预测模型,使预测与健壮性或公平型等理想规格不一致 —— 这要求我们重新考虑训练算法,这些算法不仅能够很好地拟合训练数据,而且能够与规格清单一致。 形式证明机器学习模型是规格一致的。需要能够验证模型预测可证明与所有可能输入的感兴趣的规格一致的算法。虽然形式验证领域几十年来一直在研究这种算法,尽管这些方法取得了令人瞩目的进展,但却不能轻易地扩展到现代深度学习系统 与规格的一致性测试 对抗性例子的稳健性是深度学习中相对充分被研究的问题。这项工作的一个主要主题是评估强攻击的重要性,以及设计可以有效分析的透明模型。与社区的其他研究人员一起,我们发现许多模型在与弱对手进行评估时看起来很健壮。然而,当针对更强的对手进行评估时,它们显示出基本上0%的对抗准确率(Athalye等,2018,Uesato等,2018,Carlini和Wagner,2017)。 虽然大多数工作都集中在监督学习(主要是图像分类)的背景下的罕见失败,但是需要将这些想法扩展到其他设置。在最近关于揭示灾难性失败的对抗方法的工作中,我们将这些想法应用于测试旨在用于安全关键环境的强化学习智能体(Ruderman等,2018,Uesato等,2018b)。开发自治系统的一个挑战是,由于单个错误可能会产生很大的后果,因此非常小的失败概率也是不可接受的。 我们的目标是设计一个“对手”,以便我们提前检测这些故障(例如,在受控环境中)。如果攻击者可以有效地识别给定模型的最坏情况输入,则允许我们在部署模型之前捕获罕见的故障情况。与图像分类器一样,针对弱对手进行评估会在部署期间提供错误的安全感。这类似于红队的软件实践,虽然超出了恶意攻击者造成的失败,并且还包括自然出现的失败,例如由于缺乏泛化。 我们为强化学习智能体的对抗性测试开发了两种互补的方法。首先,我们使用无导数优化来直接最小化智能体的期望奖励。在第二部分中,我们学习了一种对抗值函数,该函数根据经验预测哪种情况最有可能导致智能体失败。然后,我们使用此学习函数进行优化,将评估重点放在最有问题的输入上。这些方法只构成了丰富且不断增长的潜在算法空间的一小部分,我们对严格评估智能体的未来发展感到兴奋。 这两种方法已经比随机测试产生了很大的改进。使用我们的方法,可以在几分钟内检测到需要花费数天才能发现甚至完全未被发现的故障(Uesato等,2018b)。我们还发现,对抗性测试可能会发现我们的智能体中的定性不同行为与随机测试集的评估结果不同。特别是,使用对抗性环境构造,我们发现执行 3D 导航任务的智能体平均与人类水平的性能相匹配,但令人诧异的是它仍然无法在简单迷宫上完全找到目标(Ruderman等,2018)。我们的工作还强调,需要设计能够抵御自然故障的系统,而不仅仅是针对对手 训练规格一致的模型 对抗性测试旨在找到违反规格的反例。因此,它往往会导致高估模型与这些规格的一致性。在数学上,规格是必须在神经网络的输入和输出之间保持的某种关系。这可以采用某些关键输入和输出参数的上界和下界的形式。 受此观察的启发,一些研究人员(Raghunathan 等,2018; Wong 等,2018; Mirman … More 导向健壮和经验证的人工智能:规格测试,健壮训练和形式验证

利用因果影响图来理解智能体动机

影响图是一个研究智能体动机的良好开端。图模型提供了一个灵活,准确和直觉语言来同步表示智能体目标和智能体-环境交互。因此,使用本文给出的方法,就有可能从影响图中推断出关于智能体动机的重要方面信息。我们希望这些方法将对更加系统化理解智能体动机,并加深我们对动机问题和解决方案的理解发挥作用。 … More 利用因果影响图来理解智能体动机

构建安全的AI:规格、健壮性及保险机制

By Pedro A. Ortega, Vishal Maini, and the DeepMind safety team Translated by Xiaohu Zhu and University AI safety team 建造一枚火箭很难。每个部件需要仔细斟酌和严格测试,而安全性和可靠性是设计的核心。火箭科学家和工程师共同设计从导航路径到控制系统,引擎和起落架的每个部件。一旦所有部分组装起来,系统测试完,我们就可以足够信心让宇航员登上火箭。 如果人工智能是一个火箭,那么我们将会在某天都拿到登机票。并且,就像在火箭上一样,安全性毫无疑问是人工智能系统的关键构成部分。确保安全性需要从基础开始仔细设计系统来保证不同部件能够按照设定工作,同时开发所有必要装置来监视系统在部署后的成功操作。 从高层次看,在 DeepMind 进行的安全性研究聚焦在设计出按照预想方式工作的同时发现和减少可能的近期和长期风险的系统。人工智能技术安全性是相对初期但是快速成长的研究领域,包括从高层及理论到实验及具体的内容。本文目标是推进该领域的发展,鼓励实质性参与技术想法的讨论,这样来提升对人工智能安全性的集体理解。 在这个启动文章中,我们讨论人工智能技术安全性的三个领域:规格、健壮性和保险机制。未来的文章将会更全面填充这里提出的框架。尽管我们观点的演变会不可避免,但我们认为这三个领域涵盖了充分宽广的内容,给出了一种对正在进行和未来研究内容的有用归类。 规格:定义系统的目的 规格确保一个人工智能系统行为与操作者真实意图相符合。 你可能熟悉 King Midas 的故事和点石成金。古希腊神承诺 Midas 他可以得到自己希望要的任何奖赏,作为该国王对 Dionysus 的朋友展示出来的友善和慷慨的感激。作为回应,Midas 说我希望所有的触摸的东西都变成金子。他对自己的新技能非常满意:一个橡树枝、一个石头,花园中玫瑰都在他的触碰被变成黄金了。但很快他发现这个愿望的愚蠢之处了:甚至食物和饮品都变成金子的了。在某些版本中,甚至他女儿也成了这个诅咒的受害者。 这个故事解释了规格这个问题:如何描述我们想要的?规格的挑战就是确保一个人工智能系统行为按照设计者真实想法进行,而不是优化一个缺少考虑制定的目标或者错误的目标。严格地说,我们区分如下三种规格: 理想规格(ideal specification)(愿望 wishes),对应于一个理想人工智能系统的假设描述(很难清楚)与人类操作者目的完全对齐 设计规格(design specification)(蓝图 blueprint),对应于我们实际使用构建人工智能系统的规格,如:强化学习系统最大化的奖励函数 显示规格(revealed specification)(行为 behaviour),这是最佳描述实际发生情况的规格,如:使用逆强化学习从观察系统行为逆向工程得到的奖励函数。这不同于由人类操作者提供的规格,因为人工智能系统不是最优优化器或者其他设计规格不可见后果。 一个规格问题当理想规格和显示规格出现不匹配时出现,即,当人工智能系统不去做我们希望它做的事情的时候。对人工智能技术安全性的规格问题的研究提出这个问题:如何设计更具原理性和通用性的目标函数,帮助智能体弄清楚目标什么时候错误指定的?导致理想规格和设计规格不匹配的问题出现在上面分类的设计(design)子类别中,而导致设计和显示规格的不匹配则是新生(emergent)子类别中。 例如,在我们的 AI Safety Gridworlds* 论文中,我们给予智能体需要优化的奖励函数,但是然后用对智能体隐藏的安全性性能函数进行实际行为的评测。这个设定对上面的区别进行了建模:安全性性能函数是理想规格,被不完美地设定成一个奖励函数(设计规格),然后由产生一个通过他们得到的策略进行的显示规格的智能体实现。 注意: 在我们 AI Safety Gridworlds 论文里,我们给出了和本文介绍的对规格和健壮性问题不同的定义 … More 构建安全的AI:规格、健壮性及保险机制