作者：Tom Everitt、Ryan Carey、Lewis Hammond、James Fox、Eric Langlois 和 Shane Legg 译者：Xiaohu Zhu 大约2年前，我们发布了最初 几篇 论文上使用因果影响图来理解智能体的激励机制。这篇博文将总结自那时以来取得的进展。 什么是因果影响图？ 人工智能对齐领域内的一个关键问题是理解智能体的激励机制。有人担心智能体可能会被激励去避免纠正、操纵用户或不当影响他们的学习。这尤其令人担忧，因为训练模式通常以微妙和令人惊讶的方式塑造激励措施。出于这些原因，我们正在开发基于因果影响图 (CID) 的形式化激励理论。 下面是一个用于一步马尔可夫决策过程 (MDP) 的 CID 示例。随机变量 S₁ 表示时间 1 的状态，A₁ 表示智能体的动作，S₂ 表示时间 2 的状态，R₂ 表示智能体的奖励。 动作 A₁ 用决策节点（方形）建模，奖励 R₂ 用效用节点（菱形）建模，而状态是正常机会节点（圆形边缘）。因果联系表明 S₁ 和 A₁ 影响 S₂，而 S₂ 决定 R₂。信息链接 S₁ → A₁ 指定智能体在选择其动作 A₁ 时知道初始状态 S₁。 一般来说，可以选择随机变量来表示智能体决策点、目标和环境的其他相关方面。 简而言之，CID 指定： 智能体决策智能体目标环境中的因果关系智能体信息约束 在试图找出智能体的激励时，这些信息通常是必不可少的：如何实现目标取决于它与环境中其他（可影响的）方面的因果关系，智能体的优化受其拥有访问权限的信息的约束。在许多情况下，由（非参数化）CID … Continue reading 因果影响图的进展
为什么降低训练神经网络的成本仍然是一个挑战
本文是我们对AI研究论文的评论的一部分， AI研究论文是一系列探讨人工智能最新发现的文章。 近年来，深度学习已被证明是解决许多人工智能难题的有效解决方案。但是深度学习也变得越来越昂贵。运行深度神经网络需要大量的计算资源，甚至需要更多的训练。 深度学习的成本给人工智能界带来了一些挑战，包括大量的碳足迹和AI研究的商业化。随着人们对云服务器和“边缘设备”上的AI功能的需求不断增加，对具有成本效益的神经网络的需求也在不断增长。 尽管AI研究人员在降低运行深度学习模型的成本方面取得了进步，但降低深度神经网络训练成本的更大问题仍未解决。 麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），多伦多大学矢量研究所和Element AI的AI研究人员最近的工作探索了该领域的进展。在题为“在初始化时修剪神经网络：为什么我们会遗漏标记”的论文中，研究人员讨论了为什么当前最先进的方法无法在不对其性能产生重大影响的情况下降低神经网络训练的成本。他们还提出了未来研究的方向。 训练后修剪深度神经网络 最近的十年表明，一般而言，大型神经网络可提供更好的结果。但是大型的深度学习模型要付出巨大的代价。例如，要训练具有1,750亿个参数的OpenAI的GPT-3，您将需要访问具有非常强大的图形卡的大型服务器群集，成本可能高达数百万美元。此外，您需要数百GB的VRAM和强大的服务器来运行该模型。 有大量的工作证明神经网络可以被“修剪”。这意味着在给定非常大的神经网络的情况下，存在一个较小的子集，可以提供与原始AI模型相同的准确性，而不会对其性能造成重大损失。例如，今年早些时候，一对AI研究人员表明，尽管大型的深度学习模型可以学习预测约翰·康威（John Conway）的《生命游戏》中的未来步骤，但几乎总是存在一个较小的神经网络，可以训练该神经网络执行相同的操作精确完成任务。 培训后修剪已取得很大进展。在深度学习模型遍历整个训练过程之后，您可以放弃许多参数，有时将其缩小到原始大小的10％。您可以根据参数的权重对网络最终值的影响来对参数进行评分，以实现此目的。 许多科技公司已经在使用这种方法来压缩其AI模型，并将其安装在智能手机，笔记本电脑和智能家居设备上。除了大幅降低推理成本外，这还提供了许多好处，例如，无需将用户数据发送到云服务器并提供实时推理。在许多领域，小型神经网络使得在由太阳能电池或纽扣电池供电的设备上进行深度学习成为可能。 尽早修剪神经网络 图片来源：Depositphotos 训练后修剪神经网络的问题在于，它不会削减调整所有多余参数的成本。即使您可以将经过训练的神经网络压缩到原始大小的一小部分，您仍然需要支付训练它的全部费用。 问题是，您是否可以在不训练整个神经网络的情况下找到最佳子网？ 麻省理工学院CSAIL的两位AI研究人员，该论文的合著者Jonathan Frankle和Michael Carbin于2018年发表了一篇题为“彩票假说”的论文，该论文证明了在许多深度学习模型中，存在着一些小的子集可以训练到完全准确。https://www.youtube.com/embed/s7DqRZVvRiQ?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&wmode=transparent 找到这些子网可以大大减少训练深度学习模型的时间和成本。彩票假说的发布引发了对在初始化或训练初期修剪神经网络的方法的研究。 AI研究人员在他们的新论文中研究了一些更广为人知的早期修剪方法：单次网络修剪（SNIP），在ICLR 2019上展示; 在ICLR 2020上展示的梯度信号保存（GraSP）和迭代突触流修剪（SynFlow）。 SNIP的目标是减少对损失最不重要的砝码。GraSP旨在修剪对梯度流有害或影响最小的砝码。作者写道：“ SynFlow反复修剪权重，目的是避免层崩溃，因为修剪会集中在网络的某些层上，过早地降低性能。” 早期神经网络修剪如何执行？ 几种新技术可以在初始化阶段修剪深度神经网络。尽管它们的性能优于随机修剪，但仍未达到pos训练基准。 AI研究人员在他们的工作中将早期修剪方法的性能与两个基准进行了比较：训练后的幅度修剪和彩票倒带（LTR）。幅度修剪是在对神经网络进行充分训练后删除多余参数的标准方法。彩票倒带使用Frankle和Carbin在其早期工作中开发的技术来对最佳子网进行重新训练。如前所述，这些方法证明存在次优网络，但是只有在训练了整个网络之后，它们才存在。这些训练前的修剪方法应该在训练神经网络之前的初始化阶段找到最小的网络。 研究人员还将早期修剪方法与两种简单技术进行了比较。其中之一从神经网络中随机删除权重。检查随机性能对于验证一种方法是否提供了重要的结果很重要。AI研究人员写道：“随机修剪是一种早期修剪的天真方法，其任何新提议都应超越其性能。” 另一种方法是根据参数的绝对权重删除参数。作者写道：“幅度修剪是修剪的一种标准方法，并且是早期修剪的另一个比较幼稚的比较点，”作者写道。 实验是在VGG-16和ResNet的三个变体（两个流行的卷积神经网络（CNN））上进行的。 在AI研究人员评估的早期修剪技术中，没有哪一种早期方法能脱颖而出，并且性能会因所选择的神经网络结构和修剪百分比而异。但是他们的发现表明，在大多数情况下，这些最新方法比粗随机修剪要好得多。 但是，这些方法都无法达到基准训练后修剪的准确性。 总体而言，这些方法取得了一些进展，通常胜于随机修剪。但是，就整体准确性和可以达到完全准确性的稀疏性而言，训练后的进展仍然远远没有达到修剪水平。”作者写道。 研究早期修剪方法 对早期修剪方法的测试表明，它们对随机改组和重新初始化具有强大的抵抗力，这表明它们在目标神经网络中找不到适合修剪的特定权重。 为了测试修剪方法为何表现不佳，AI研究人员进行了几次测试。首先，他们测试了“随机改组”。对于每种方法，他们随机切换从神经网络的每一层中删除的参数，以查看它是否对性能产生影响。如果如修剪方法所建议的那样，它们根据其相关性和影响来删除参数，那么随机切换将严重降低性能。 令人惊讶的是，研究人员发现随机改组对结果没有严重影响。相反，真正决定结果的是它们从每一层去除的权重的数量。 “所有方法在随机洗牌时都可以保持准确性或得到改善。换句话说，这些技术所提取的有用信息不是去除单个权重，而是修剪网络的分层比例，”作者写道，并补充说，尽管分层修剪比例很重要，但并不重要。足够。证明是，训练后的修剪方法可以通过选择特定权重并随机更改它们来达到完全准确性，从而导致修剪后的网络的准确性突然下降。 接下来，研究人员检查了重新初始化网络是否会改变修剪方法的性能。在训练之前，将使用所选分布中的随机值初始化神经网络中的所有参数。以前的工作，包括Frankle和Carbin所做的工作，以及本文前面提到的“生命游戏”研究，都表明这些初始值通常会对培训的最终结果产生重大影响。实际上，术语“彩票”是基于以下事实而创造的：幸运的初始值可以使小型神经网络在训练中达到高精度。 因此，应根据参数值选择参数，并且如果更改其初始值，则将严重影响修剪网络的性能。再次，测试没有显示出重大变化。 “所有早期修剪技术都对重新初始化具有鲁棒性：无论是使用原始初始化还是使用新采样的初始化来训练网络，准确性都是相同的。与 “随机改组，这种对初始化的不敏感可能反映了这些方法用于修剪的信息的局限性，从而限制了性能。” AI研究人员写道。 最后，他们尝试反转修剪后的重量。这意味着对于每种方法，他们都将砝码标记为可移动，而去掉了应该保留的砝码。最终测试将检查用于选择修剪权重的计分方法的效率。SNIP和SynFlow这两种方法对反演显示出极大的敏感性，而其准确性却下降了，这是一件好事。但是，在减去修剪后的权重后，GraSP的性能并没有降低，在某些情况下，它甚至表现更好。 这些测试的关键之处在于，当前的早期修剪方法无法检测到在深度学习模型中定义最佳子网的特定连接。 研究的未来方向 另一个解决方案是在早期训练中执行修剪，而不是进行初始化。在这种情况下，神经网络在被修剪之前会针对特定时期进行训练。这样做的好处是，您可以修剪部分收敛的网络，而不必在随机权重之间进行选择。AI研究人员进行的测试表明，大多数修剪方法的性能会随着目标网络经过更多的训练迭代而提高，但仍低于基准基准。 在早期培训中进行修剪的权衡是，即使成本远低于完整培训，您也必须在这些初始纪元上花费资源，并且您必须权衡并在绩效提升与培训之间做出适当的权衡费用。 AI研究人员在他们的论文中提出了修剪神经网络研究的未来目标。一个方向是改进现有方法或研究新方法，这些方法可以找到特定的权重来修剪，而不是在神经网络层中按比例进行修剪。第二个领域是寻找更好的早期修剪修剪方法。最后，幅度和梯度可能不是早期修剪的最佳信号。“我们应该在早期训练中使用不同的信号吗？我们应该期望在训练初期起作用的信号在训练后期起作用（反之亦然）吗？” 作者写道。 本文中的某些主张遭到了修剪方法的创建者的质疑。Namhoon Lee表示：“虽然我们对我们的工作（SNIP）吸引了很多兴趣并感到非常兴奋，并在Jonathan等人的建议论文中得到了解决，但我们发现论文中的某些说法有些麻烦，” Namhoon Lee牛津大学的AI研究人员，SNIP论文的合著者之一，告诉TechTalks。 … Continue reading 为什么降低训练神经网络的成本仍然是一个挑战
AN #108 为何需要仔细检查人工智能风险的争论
中文版 对齐周报第 108 期 对齐周报是每周出版物，其最新内容与全球人工智能对齐有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 Ben Garfinkel 对人工智能风险的经典争论的仔细检查（Howie Lempel 和 Ben Garfinkel）（由 Asya 总结）：在本播客中，Ben Garfinkel 考察了他对人工智能风险经典的争论持怀疑态度的几个原因（先前在此处进行了讨论（AN＃45）） ）。播客比此摘要具有更多的细节和细微差别。 Ben 认为，从历史上看，很难以一种可以预见的长期方式对变革性技术产生影响 —— 例如，很难看到我们可以在农业或工业化发展方面做些什么会影响到今天的世界。他认为，可以通过解决日益增加的政治动荡或锁定的可能性来获得长期影响的一些潜在途径，尽管他认为目前尚不清楚我们可以采取什么措施来影响锁定的结果，尤其是在遥远的情况下。 在对齐方面，Ben 聚焦于 Nick Bostrom 的《超级智能》（Superintelligence）中概述的标准论证集，因为它们具有广泛的影响力，而且充实。Ben 对这些论点有一些异议： 他认为不会突然跳升至功能极为强大和危险的人工智能系统，并且认为如果能力逐渐提高，我们将有更大的机会纠正出现的问题。 他认为，使人工智能系统具有能力和使人工智能系统具有正确的目标很可能并存。 他认为，仅仅因为有很多方法可以创建具有破坏性的系统，并不意味着创建该系统的工程过程很可能会被那些破坏性的系统所吸引；似乎我们不太可能偶然创建足以破坏人类的破坏性系统。 Ben 还花了一些时间讨论Mesa 优化（AN＃58），这是关于人工智能风险的新论点。他在很大程度上认为，mesa 优化的理由尚未充分充实。他还认为，学习不正确的目标可能是由于系统不够复杂而无法正确表示目标的结果。经过足够的训练，我们实际上可能会收敛到我们想要的系统。 鉴于当前的争论状态，Ben 认为值得 EA 充实有关人工智能风险的新争论，但也认为在人工智能相关主题上没有相对优势的 EAer 不一定要转向人工智能。Ben 认为，我们在人工智能安全和治理上花费的资金比 Alec Baldwin 主演的 2017 年电影《老板宝贝》（Boss Baby）投入更少是一种道德上的愤怒。 Asya 的观点：该播客涵盖了现有论点的令人印象深刻的广度。许多推理类似于我从其他研究人员那里听到的（AN＃94）。我非常高兴 Ben 和其他人花时间批评这些论点。除了向我们展示我们错在哪里，它还帮助我们引导到更合理的人工智能风险场景。 … Continue reading AN #108 为何需要仔细检查人工智能风险的争论
AN #107 目标导向的智能体的收敛工具性子目标
中文版 对齐周报第 107 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 基本的人工智能驱动力 （Stephen M. Omohundro）（由 Rohin 总结）：2008 年的论文介绍了收敛的工具性子目标：除非谨慎避免，否则人工智能系统将“默认”具有这些子目标。对于本文而言，人工智能系统是“具有通过在世界范围内行动而试图实现的目标”的系统，即，它假定系统是目标导向的（AN＃35）。 首先要论证一个足够强大的目标导向的人工智能系统将要自我提升，因为这可以帮助它在（可能很长的）未来更好地实现其目标。特别是，从效用函数由其目标决定的角度出发，它将希望最大化其期望效用，这将使其成为“理性的” 。（这样做的理由是 VNM 定理，以及支持贝叶斯主义和期望效用最大化的各种荷兰赌（Dutch book）论点。） 但是，并非所有修改都对人工智能系统有利。特别是，它将非常希望保留其实用效用函数，因为它决定了将来它将（尝试）完成的工作，并且从当前实用效用函数的角度来看，实用效用函数的任何更改将是一场灾难。同样，它将希望保护自己免受伤害，也就是说，它具有生存动机，因为如果死了就无法实现其目标。 最终的工具性子目标是获取资源并有效地使用资源以实现其目标，因为按照定义，资源几乎可用于多种目标，包括（可能是）人工智能系统的目标。 Rohin 的观点：在本期周报中，我经常提到收敛的工具性子目标，因此似乎我应该对其进行总结。我特别喜欢这篇论文，因为它在 12 年后保存得很好。即使我批评（AN＃44）认为强大的人工智能系统必须是期望效用最大化器的想法，但我仍然发现自己同意本文，因为它假设了目标导向的智能体和那里的原因，而不是试图争论强大的人工智能系统必须以目标为导向。鉴于此假设，我同意此处得出的结论。 技术性人工智能对齐 MESA 优化 内部安全性，外部安全性以及构建安全高级人工智能的建议 （Lucas Perry 和 Evan Hubinger）（由 Rohin 总结）：该播客涵盖了很多主题，特别关注高级机器学习系统中学习到的优化带来的风险（AN＃ 58），以及有关构建安全高级人工智能的11条建议的概述（AN＃102）。 Rohin 的观点：我的摘要很详细，因为在本周报中之前已经强调了许多主题，但是如果你不熟悉它们，那么播客是学习它们的重要资源。 学习人类意图 利用本体感受从视频中模仿学习（Faraz Torabi 等人）（由 Zach 总结）：从观察（IfO）到模仿学习的最新工作使智能体可以从不包含状态和动作信息的视觉演示中执行任务。在本文中，作者对利用本体感受信息，内部状态的知识来创建有效的 IfO 算法感兴趣。与通常仅使用观察向量的 GAIfO 相比，该算法仅允许将图像用于判别，但允许智能体使用内部状态来生成动作。他们在多个 MujoCo 域上测试了他们提出的技术，并表明它优于观察算法的其他模仿技术。 Zach 的观点：我认为很容易忘记观察不一定等同于状态表示。这篇文章很好地提醒了我，在 … Continue reading AN #107 目标导向的智能体的收敛工具性子目标
AN #106 评价学到的奖励模型的泛化能力
中文版 对齐周报第 106 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 量化奖励功能的差异 （Adam Gleave 等人）（由 Rohin 总结）：当前的奖励学习工作通常通过训练策略以优化学到的奖励，并查看该策略根据真实奖励的执行情况来评估学习的奖励模型。但是，这仅测试奖励在你所测试的特定环境中的运行情况，而不能告诉你奖励将推广到何种程度。例如，假设用户喜欢杏子、李子，但是讨厌榴莲。具有杏子 > 榴莲 > 李子的奖励效果很好 —— 直到商店卖完杏子为止，在这种情况下，它会购买用户讨厌的榴莲。 因此，似乎我们应该直接评估奖励函数，而不是查看其最佳策略。本文提出了等价策略不变比对（EPIC），它可以比较两个奖励函数，而忽略任何不影响最优策略的潜在成形。 EPIC 通过状态和动作 DS 和 DA 的分布以及转换（s，a，s'）上的分布 DT 进行参数化。第一步是找到要比较的两个奖励的规范版本，以使它们对 DS 和 DA 的期望奖励为零，并消除所有可能的成形。然后，我们查看这些奖励将分配给 DT 中的转换的奖励，并计算其 Pearson 相关性。将其规范化到 [0，1] 范围，得到 EPIC 距离。 作者证明 EPIC 是伪度量，也就是说，它的行为类似于距离函数，只是即使 R1 和 R2 不同，EPIC(R1, R2) 也可能为零。这是合乎需要的，因为如果 R1 和 R2 由于潜在的成形函数不同，则无论转换动态如何，都可以保证它们的最佳策略相同，因此我们应将它们之间的“距离”报告为零。 … Continue reading AN #106 评价学到的奖励模型的泛化能力
Comments|Quantifying Differences in Reward Functions
本文工作的原始动因： 对很多任务，奖励函数太复杂以至于难以过程化指定，并且必须从用户数据中学到。以往工作已经通过检查从一个针对学到的奖励优化的策略产生的展开评价了奖励函数。 问题之所在： 这个方法不能区分学到的无法反应用户偏好奖励函数和无法优化学到的奖励的强化学习算法。而且，展开方法对用来评价学到奖励的环境细节极其敏感，这常常在部署环境中有差异。 解决思路： 引入了等价策略不变量比对（Equivalent-Policy Invariant Comparison，EPIC）距离来直接量化不同奖励函数的差距，而不需要训练一个策略。 结果总结： 证明了 EPIC 在一个总是规约到同样的最优策略的奖励函数的等价类上是不变的发现 EPIC 可以被准确地近似并且访问分布的选择比基线更为健壮发现学到的奖励函数到真实奖励 EPIC 距离对预测训练一个策略对成功有效，甚至在不同的转换动力系统中。 文章链接：https://arxiv.org/abs/2006.13900
Logician|Boris Trakhtenbrot
I read several articles about mathematical logic these days. Finally, I just found some work done by Boris. Record the intro here. Boris (Boaz) Avraamovich Trakhtenbrot (Russian: Борис Авраамович Трахтенброт; 19 February 1921 – 19 September 2016), or Boaz (Boris) Trakhtenbrot (Hebrew: בועז טרכטנברוט) was an Israeli and Russian mathematician in mathematical logic, algorithms, theory of computation, and cybernetics. Trakhtenbrot was born in Brichevo, northern Bessarabia.[1][2] He worked at Akademgorodok, Novosibirsk during … Continue reading Logician|Boris Trakhtenbrot
规格欺骗：人工智能创造力的另一面
作者：维多利亚·克拉科夫娜（Victoria Krakovna），乔纳森·上萨（Jonathan Uesato），弗拉基米尔·米库里克（Vladimir Mikulik），马修·拉赫兹（Matthew Rahtz），汤姆·埃弗里特（Tom Everever），拉玛娜·库玛（Ramana Kumar），扎克·肯顿（Zac Kenton），杨·雷克（Jan Leike），沙恩·莱格（Shane Legg）—— DeepMind 人工智能安全团队 译者：朱小虎（Xiaohu Zhu）—— Center for Safe AGI 创始人 本文交叉发布在 DeepMind 的官方网站上。 规格欺骗是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称，我们都有过规格欺骗的经验。读者可能已经听说过迈达斯国王的神话和点石成金的故事，其中国王要求将他接触的任何东西都变成黄金 —— 但很快就发现，甚至是食物和饮料也变成了他手中的金属。在现实世界中，当学生因在一项家庭作业上的出色表现而获得奖励时，他可能会抄袭另一个学生来获得正确的答案，而不是通过学习材料，从而利用了任务规格中的漏洞。 在人工智能体的设计中也会出现这个问题。例如，强化学习智能体可以找到一条获得大量奖励的捷径，而无需按照人工设计者的意图完成任务。这些行为很常见，到目前为止，我们已经收集了大约 60 个示例（汇总了现有 列表和人工智能社区的持续贡献）。在这篇文章中，我们回顾了规格欺骗的可能原因，分享了在实践中发生这种情况的案例，并争论了关于解决规格问题的原则方法的进一步工作。 让我们来看一个例子。在乐高积木堆叠任务中，理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时，会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部，而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标（红色方块的高底面），而牺牲了设计人员实际关心的内容（将其堆叠在蓝色方块的顶部）。 资料来源：数据有效的深度强化学习，用于敏捷操作（Popov等人，2017年） 我们可以从两个不同的角度考虑规格欺骗。在开发强化学习（RL）算法的范围内，目标是构建学会实现给定目标的智能体。例如，当我们使用 Atari 游戏作为训练强化学习算法的基准任务时，目标是评估我们的算法是否可以解决困难的任务。在这种情况下，智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看，规格欺骗是一个好的信号 —— 智能体已找到一种实现指定目标的新式方法。这些行为说明了算法的独创性和强大能力，它们可以找到确切地执行我们告诉他们的操作的方法。 但是，当我们希望智能体实际去堆叠乐高积木时，相同的创造力可能会带来问题。在构建能够在世界范围内实现预期结果的对齐的智能体的更广泛范围内，规格欺骗是有问题的，因为它涉及智能体以牺牲预期结果为代价来利用规格中的漏洞。这些行为是由于预期任务的规格不正确而不是强化学习算法中的任何缺陷引起的。除了算法设计之外，构建对齐智能体的另一个必要组件是奖励设计。 准确地反映人类设计者意图的设计任务规格（奖励功能，环境等）往往很困难。甚至对一个存在轻微的错误规格指定，一个非常好的RL算法也许能够找到与预期解决方案完全不同的复杂解决方案，即使一个更差的算法无法找到该解决方案，但得出的结果反而更接近于预期的解决方案。这意味着，随着强化学习算法的改进，正确指定意图对于实现所需结果变得更加重要。因此，至关重要的是，研究人员正确指定任务的能力必须与智能体寻找新颖解决方案的能力保持一致。 我们在广义上使用术语任务规格来涵盖智能体开发过程的许多方面。在强化学习设置中，任务规格不仅包括奖励设计，还包括训练环境和辅助奖励的选择。任务说明的正确性可以确定智能体的创造力是否符合预期结果。如果规格正确，智能体的创造力将产生理想的新颖解决方案。这就是 AlphaGo 走出著名的第 37 步的原因，这使人类围棋专家感到惊讶，但这在与李世石的第二场比赛中至关重要。如果规格错误，则可能会产生不良的博弈行为，例如翻转方块。这些类型的解决方案取决于一个范围，我们还没有一个客观的方式来区分它们。 现在，我们将考虑规格欺骗的可能原因。奖赏功能失准的一种根源是设计不当的奖赏塑造。奖励塑形通过在解决任务的方式上给予智能体一些奖励，而不是仅仅奖励最终结果，使学习一些目标变得更加容易。但是，如果奖励不是基于潜力的，则可以改变最优策略。考虑一个在海岸奔跑者游戏中控制船只的智能体，该游戏的预期目标是尽快完成比赛。智能体因在赛道上击中绿色方块而获得了成形奖励，这将最佳策略更改为绕行并一遍又一遍击中相同的绿色方块。 资料来源：荒谬的奖励功能（Amodei＆Clark，2016年） 指定能够准确捕获所需最终结果的奖励本身可能是一项挑战。在乐高积木堆叠任务中，仅指定红色块的底面必须高出地面是不够的，因为智能体可以简单地翻转红色块来实现此目标。对所需结果的更全面说明还包括：红色块的顶面必须在底面之上，并且底面必须与蓝色块的顶面对齐。在指定结果时，很容易错过这些标准之一，从而使规格变得过于宽泛，并且可能更容易满足于一个退化的解决方案。 与其尝试创建涵盖所有可能的极端情况的规格，不如从人类反馈中学习奖励函数。评估结果是否已实现通常比明确指定结果要容易得多。但是，如果奖励模型没有学习到反映设计者偏好的真实奖励函数，则此方法也会遇到规格欺骗问题。错误的一种可能来源可能是用于训练奖励模型的人为反馈。例如，执行抓取任务的智能体通过在相机和对象之间悬停而学会了愚弄人类评估者。 资料来源：《人类偏好的深度强化学习》（Christiano等，2017） 由于其他原因，例如泛化不佳，学习的奖励模型也可能被错误指定。可以使用其他反馈来更正智能体尝试利用奖励模型中的不准确性的尝试。 另一类规格欺骗示例来自利用模拟器错误的智能体。例如，一个本应学会走路的模拟机器人想出了如何将双腿钩在一起并沿着地面滑动的方法。 资料来源：AI学步（Code Bullet，2019） 乍一看，这些示例可能看起来很有趣，但没那么有趣，并且与在没有模拟器错误的现实世界中部署智能体无关。但是，根本问题不是错误本身，而是智能体可以利用的抽象失败。在上面的示例中，由于对模拟器物理的错误假设，错误地指定了机器人的任务。类似地，通过错误地假设交通流量路由基础结构不具有足够聪明的智能体可以发现的软件错误或安全漏洞，可能会错误地指定现实世界的流量优化任务。无需明确地做出这样的假设 —— 更有可能的是，它们只是设计者从未想到的细节。而且，由于任务变得过于复杂而无法考虑每个细节，规格设计期间的错误假设。这就提出了一个问题：是否有可能设计能够纠正这种错误假设而不是进行假冒的智能体架构？ 任务规格中通常做出的一种假设是，任务规格不会受到智能体的动作的影响。对于在沙盒模拟器中运行的智能体，这是正确的，但对于在现实世界中运行的智能体，则不是这样。任何任务说明都具有物理表现：存储在计算机上的奖励功能或存储在人脑中的偏好。部署在现实世界中的智能体程序可能会操纵目标的这些表示，从而产生奖励篡改问题。对于我们假设的流量优化系统，在满足用户的偏好（例如，通过给出有用的指示）与影响用户之间并没有明显的区别。（例如，通过轻推它们以选择更容易达到的目的地）。前者满足了目标，而后者则操纵了目标在世界上的表示（用户偏好），两者都为人工智能系统带来了丰厚的回报。再举一个极端的例子，一个非常先进的人工智能系统可以劫持运行它的计算机，并手动将其奖励信号设置为较高的值。 综上所述，解决规格欺骗至少要克服三个挑战： … Continue reading 规格欺骗：人工智能创造力的另一面
A Comparative Analysis of Expected and Distributional Reinforcement Learning
Clare Lyle, Pablo Samuel Castro, and Marc G. Bellemare Since their introduction a year ago, distributional approaches to reinforcement learning (distributional RL) have produced strong results relative to the standard approach which models expected values (expected RL). However, aside from convergence guarantees, there have been few theoretical results investigating the reasons behind the improvements distributional … Continue reading A Comparative Analysis of Expected and Distributional Reinforcement Learning
