Category: 未分类

作者：Tom Everitt、Ryan Carey、Lewis Hammond、James Fox、Eric Langlois 和 Shane Legg  译者：Xiaohu Zhu 大约2年前，我们发布了最初 几篇 论文上使用因果影响图来理解智能体的激励机制。这篇博文将总结自那时以来取得的进展。 什么是因果影响图？ 人工智能对齐领域内的一个关键问题是理解智能体的激励机制。有人担心智能体可能会被激励去避免纠正、操纵用户或不当影响他们的学习。这尤其令人担忧，因为训练模式通常以微妙和令人惊讶的方式塑造激励措施。出于这些原因，我们正在开发基于因果影响图 (CID) 的形式化激励理论。 下面是一个用于一步马尔可夫决策过程 (MDP) 的 CID 示例。随机变量 S₁ 表示时间 1 的状态，A₁ 表示智能体的动作，S₂ 表示时间 2 的状态，R₂ 表示智能体的奖励。 动作 A₁ 用决策节点（方形）建模，奖励 R₂ 用效用节点（菱形）建模，而状态是正常机会节点（圆形边缘）。因果联系表明 S₁ 和 A₁ 影响 S₂，而 S₂ 决定 R₂。信息链接 S₁ → A₁ 指定智能体在选择其动作 A₁ 时知道初始状态 S₁。 一般来说，可以选择随机变量来表示智能体决策点、目标和环境的其他相关方面。 简而言之，CID 指定： 智能体决策智能体目标环境中的因果关系智能体信息约束 在试图找出智能体的激励时，这些信息通常是必不可少的：如何实现目标取决于它与环境中其他（可影响的）方面的因果关系，智能体的优化受其拥有访问权限的信息的约束。在许多情况下，由（非参数化）CID … Continue reading 因果影响图的进展

本文是我们对AI研究论文的评论的一部分，  AI研究论文是一系列探讨人工智能最新发现的文章。 近年来，深度学习已被证明是解决许多人工智能难题的有效解决方案。但是深度学习也变得越来越昂贵。运行深度神经网络需要大量的计算资源，甚至需要更多的训练。 深度学习的成本给人工智能界带来了一些挑战，包括大量的碳足迹和AI研究的商业化。随着人们对云服务器和“边缘设备”上的AI功能的需求不断增加，对具有成本效益的神经网络的需求也在不断增长。 尽管AI研究人员在降低运行深度学习模型的成本方面取得了进步，但降低深度神经网络训练成本的更大问题仍未解决。 麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），多伦多大学矢量研究所和Element AI的AI研究人员最近的工作探索了该领域的进展。在题为“在初始化时修剪神经网络：为什么我们会遗漏标记”的论文中，研究人员讨论了为什么当前最先进的方法无法在不对其性能产生重大影响的情况下降低神经网络训练的成本。他们还提出了未来研究的方向。 训练后修剪深度神经网络 最近的十年表明，一般而言，大型神经网络可提供更好的结果。但是大型的深度学习模型要付出巨大的代价。例如，要训练具有1,750亿个参数的OpenAI的GPT-3，您将需要访问具有非常强大的图形卡的大型服务器群集，成本可能高达数百万美元。此外，您需要数百GB的VRAM和强大的服务器来运行该模型。 有大量的工作证明神经网络可以被“修剪”。这意味着在给定非常大的神经网络的情况下，存在一个较小的子集，可以提供与原始AI模型相同的准确性，而不会对其性能造成重大损失。例如，今年早些时候，一对AI研究人员表明，尽管大型的深度学习模型可以学习预测约翰·康威（John Conway）的《生命游戏》中的未来步骤，但几乎总是存在一个较小的神经网络，可以训练该神经网络执行相同的操作精确完成任务。 培训后修剪已取得很大进展。在深度学习模型遍历整个训练过程之后，您可以放弃许多参数，有时将其缩小到原始大小的10％。您可以根据参数的权重对网络最终值的影响来对参数进行评分，以实现此目的。 许多科技公司已经在使用这种方法来压缩其AI模型，并将其安装在智能手机，笔记本电脑和智能家居设备上。除了大幅降低推理成本外，这还提供了许多好处，例如，无需将用户数据发送到云服务器并提供实时推理。在许多领域，小型神经网络使得在由太阳能电池或纽扣电池供电的设备上进行深度学习成为可能。 尽早修剪神经网络 图片来源：Depositphotos 训练后修剪神经网络的问题在于，它不会削减调整所有多余参数的成本。即使您可以将经过训练的神经网络压缩到原始大小的一小部分，您仍然需要支付训练它的全部费用。 问题是，您是否可以在不训练整个神经网络的情况下找到最佳子网？ 麻省理工学院CSAIL的两位AI研究人员，该论文的合著者Jonathan Frankle和Michael Carbin于2018年发表了一篇题为“彩票假说”的论文，该论文证明了在许多深度学习模型中，存在着一些小的子集可以训练到完全准确。https://www.youtube.com/embed/s7DqRZVvRiQ?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&wmode=transparent 找到这些子网可以大大减少训练深度学习模型的时间和成本。彩票假说的发布引发了对在初始化或训练初期修剪神经网络的方法的研究。 AI研究人员在他们的新论文中研究了一些更广为人知的早期修剪方法：单次网络修剪（SNIP），在ICLR 2019上展示; 在ICLR 2020上展示的梯度信号保存（GraSP）和迭代突触流修剪（SynFlow）。 SNIP的目标是减少对损失最不重要的砝码。GraSP旨在修剪对梯度流有害或影响最小的砝码。作者写道：“ SynFlow反复修剪权重，目的是避免层崩溃，因为修剪会集中在网络的某些层上，过早地降低性能。” 早期神经网络修剪如何执行？ 几种新技术可以在初始化阶段修剪深度神经网络。尽管它们的性能优于随机修剪，但仍未达到pos训练基准。 AI研究人员在他们的工作中将早期修剪方法的性能与两个基准进行了比较：训练后的幅度修剪和彩票倒带（LTR）。幅度修剪是在对神经网络进行充分训练后删除多余参数的标准方法。彩票倒带使用Frankle和Carbin在其早期工作中开发的技术来对最佳子网进行重新训练。如前所述，这些方法证明存在次优网络，但是只有在训练了整个网络之后，它们才存在。这些训练前的修剪方法应该在训练神经网络之前的初始化阶段找到最小的网络。 研究人员还将早期修剪方法与两种简单技术进行了比较。其中之一从神经网络中随机删除权重。检查随机性能对于验证一种方法是否提供了重要的结果很重要。AI研究人员写道：“随机修剪是一种早期修剪的天真方法，其任何新提议都应超越其性能。” 另一种方法是根据参数的绝对权重删除参数。作者写道：“幅度修剪是修剪的一种标准方法，并且是早期修剪的另一个比较幼稚的比较点，”作者写道。 实验是在VGG-16和ResNet的三个变体（两个流行的卷积神经网络（CNN））上进行的。 在AI研究人员评估的早期修剪技术中，没有哪一种早期方法能脱颖而出，并且性能会因所选择的神经网络结构和修剪百分比而异。但是他们的发现表明，在大多数情况下，这些最新方法比粗随机修剪要好得多。 但是，这些方法都无法达到基准训练后修剪的准确性。 总体而言，这些方法取得了一些进展，通常胜于随机修剪。但是，就整体准确性和可以达到完全准确性的稀疏性而言，训练后的进展仍然远远没有达到修剪水平。”作者写道。 研究早期修剪方法 对早期修剪方法的测试表明，它们对随机改组和重新初始化具有强大的抵抗力，这表明它们在目标神经网络中找不到适合修剪的特定权重。 为了测试修剪方法为何表现不佳，AI研究人员进行了几次测试。首先，他们测试了“随机改组”。对于每种方法，他们随机切换从神经网络的每一层中删除的参数，以查看它是否对性能产生影响。如果如修剪方法所建议的那样，它们根据其相关性和影响来删除参数，那么随机切换将严重降低性能。 令人惊讶的是，研究人员发现随机改组对结果没有严重影响。相反，真正决定结果的是它们从每一层去除的权重的数量。 “所有方法在随机洗牌时都可以保持准确性或得到改善。换句话说，这些技术所提取的有用信息不是去除单个权重，而是修剪网络的分层比例，”作者写道，并补充说，尽管分层修剪比例很重要，但并不重要。足够。证明是，训练后的修剪方法可以通过选择特定权重并随机更改它们来达到完全准确性，从而导致修剪后的网络的准确性突然下降。 接下来，研究人员检查了重新初始化网络是否会改变修剪方法的性能。在训练之前，将使用所选分布中的随机值初始化神经网络中的所有参数。以前的工作，包括Frankle和Carbin所做的工作，以及本文前面提到的“生命游戏”研究，都表明这些初始值通常会对培训的最终结果产生重大影响。实际上，术语“彩票”是基于以下事实而创造的：幸运的初始值可以使小型神经网络在训练中达到高精度。 因此，应根据参数值选择参数，并且如果更改其初始值，则将严重影响修剪网络的性能。再次，测试没有显示出重大变化。 “所有早期修剪技术都对重新初始化具有鲁棒性：无论是使用原始初始化还是使用新采样的初始化来训练网络，准确性都是相同的。与 “随机改组，这种对初始化的不敏感可能反映了这些方法用于修剪的信息的局限性，从而限制了性能。” AI研究人员写道。 最后，他们尝试反转修剪后的重量。这意味着对于每种方法，他们都将砝码标记为可移动，而去掉了应该保留的砝码。最终测试将检查用于选择修剪权重的计分方法的效率。SNIP和SynFlow这两种方法对反演显示出极大的敏感性，而其准确性却下降了，这是一件好事。但是，在减去修剪后的权重后，GraSP的性能并没有降低，在某些情况下，它甚至表现更好。 这些测试的关键之处在于，当前的早期修剪方法无法检测到在深度学习模型中定义最佳子网的特定连接。 研究的未来方向 另一个解决方案是在早期训练中执行修剪，而不是进行初始化。在这种情况下，神经网络在被修剪之前会针对特定时期进行训练。这样做的好处是，您可以修剪部分收敛的网络，而不必在随机权重之间进行选择。AI研究人员进行的测试表明，大多数修剪方法的性能会随着目标网络经过更多的训练迭代而提高，但仍低于基准基准。 在早期培训中进行修剪的权衡是，即使成本远低于完整培训，您也必须在这些初始纪元上花费资源，并且您必须权衡并在绩效提升与培训之间做出适当的权衡费用。 AI研究人员在他们的论文中提出了修剪神经网络研究的未来目标。一个方向是改进现有方法或研究新方法，这些方法可以找到特定的权重来修剪，而不是在神经网络层中按比例进行修剪。第二个领域是寻找更好的早期修剪修剪方法。最后，幅度和梯度可能不是早期修剪的最佳信号。“我们应该在早期训练中使用不同的信号吗？我们应该期望在训练初期起作用的信号在训练后期起作用（反之亦然）吗？” 作者写道。 本文中的某些主张遭到了修剪方法的创建者的质疑。Namhoon Lee表示：“虽然我们对我们的工作（SNIP）吸引了很多兴趣并感到非常兴奋，并在Jonathan等人的建议论文中得到了解决，但我们发现论文中的某些说法有些麻烦，” Namhoon Lee牛津大学的AI研究人员，SNIP论文的合著者之一，告诉TechTalks。 … Continue reading 为什么降低训练神经网络的成本仍然是一个挑战

中文版 对齐周报第 106 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 量化奖励功能的差异 （Adam Gleave 等人）（由 Rohin 总结）：当前的奖励学习工作通常通过训练策略以优化学到的奖励，并查看该策略根据真实奖励的执行情况来评估学习的奖励模型。但是，这仅测试奖励在你所测试的特定环境中的运行情况，而不能告诉你奖励将推广到何种程度。例如，假设用户喜欢杏子、李子，但是讨厌榴莲。具有杏子 > 榴莲 > 李子的奖励效果很好 —— 直到商店卖完杏子为止，在这种情况下，它会购买用户讨厌的榴莲。 因此，似乎我们应该直接评估奖励函数，而不是查看其最佳策略。本文提出了等价策略不变比对（EPIC），它可以比较两个奖励函数，而忽略任何不影响最优策略的潜在成形。 EPIC 通过状态和动作 DS 和 DA 的分布以及转换（s，a，s'）上的分布 DT 进行参数化。第一步是找到要比较的两个奖励的规范版本，以使它们对 DS 和 DA 的期望奖励为零，并消除所有可能的成形。然后，我们查看这些奖励将分配给 DT 中的转换的奖励，并计算其 Pearson 相关性。将其规范化到 [0，1] 范围，得到 EPIC 距离。 作者证明 EPIC 是伪度量，也就是说，它的行为类似于距离函数，只是即使 R1 和 R2 不同，EPIC(R1, R2) 也可能为零。这是合乎需要的，因为如果 R1 和 R2 由于潜在的成形函数不同，则无论转换动态如何，都可以保证它们的最佳策略相同，因此我们应将它们之间的“距离”报告为零。 … Continue reading AN #106 评价学到的奖励模型的泛化能力

I read several articles about mathematical logic these days. Finally, I just found some work done by Boris. Record the intro here. Boris (Boaz) Avraamovich Trakhtenbrot (Russian: Борис Авраамович Трахтенброт; 19 February 1921 – 19 September 2016), or Boaz (Boris) Trakhtenbrot (Hebrew: בועז טרכטנברוט‎) was an Israeli and Russian mathematician in mathematical logic, algorithms, theory of computation, and cybernetics. Trakhtenbrot was born in Brichevo, northern Bessarabia.[1][2] He worked at Akademgorodok, Novosibirsk during … Continue reading Logician|Boris Trakhtenbrot