本文是我们对AI研究论文的评论的一部分， AI研究论文是一系列探讨人工智能最新发现的文章。 近年来，深度学习已被证明是解决许多人工智能难题的有效解决方案。但是深度学习也变得越来越昂贵。运行深度神经网络需要大量的计算资源，甚至需要更多的训练。 深度学习的成本给人工智能界带来了一些挑战，包括大量的碳足迹和AI研究的商业化。随着人们对云服务器和“边缘设备”上的AI功能的需求不断增加，对具有成本效益的神经网络的需求也在不断增长。 尽管AI研究人员在降低运行深度学习模型的成本方面取得了进步，但降低深度神经网络训练成本的更大问题仍未解决。 麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），多伦多大学矢量研究所和Element AI的AI研究人员最近的工作探索了该领域的进展。在题为“在初始化时修剪神经网络：为什么我们会遗漏标记”的论文中，研究人员讨论了为什么当前最先进的方法无法在不对其性能产生重大影响的情况下降低神经网络训练的成本。他们还提出了未来研究的方向。 训练后修剪深度神经网络 最近的十年表明，一般而言，大型神经网络可提供更好的结果。但是大型的深度学习模型要付出巨大的代价。例如，要训练具有1,750亿个参数的OpenAI的GPT-3，您将需要访问具有非常强大的图形卡的大型服务器群集，成本可能高达数百万美元。此外，您需要数百GB的VRAM和强大的服务器来运行该模型。 有大量的工作证明神经网络可以被“修剪”。这意味着在给定非常大的神经网络的情况下，存在一个较小的子集，可以提供与原始AI模型相同的准确性，而不会对其性能造成重大损失。例如，今年早些时候，一对AI研究人员表明，尽管大型的深度学习模型可以学习预测约翰·康威（John Conway）的《生命游戏》中的未来步骤，但几乎总是存在一个较小的神经网络，可以训练该神经网络执行相同的操作精确完成任务。 培训后修剪已取得很大进展。在深度学习模型遍历整个训练过程之后，您可以放弃许多参数，有时将其缩小到原始大小的10％。您可以根据参数的权重对网络最终值的影响来对参数进行评分，以实现此目的。 许多科技公司已经在使用这种方法来压缩其AI模型，并将其安装在智能手机，笔记本电脑和智能家居设备上。除了大幅降低推理成本外，这还提供了许多好处，例如，无需将用户数据发送到云服务器并提供实时推理。在许多领域，小型神经网络使得在由太阳能电池或纽扣电池供电的设备上进行深度学习成为可能。 尽早修剪神经网络 图片来源：Depositphotos 训练后修剪神经网络的问题在于，它不会削减调整所有多余参数的成本。即使您可以将经过训练的神经网络压缩到原始大小的一小部分，您仍然需要支付训练它的全部费用。 问题是，您是否可以在不训练整个神经网络的情况下找到最佳子网？ 麻省理工学院CSAIL的两位AI研究人员，该论文的合著者Jonathan Frankle和Michael Carbin于2018年发表了一篇题为“彩票假说”的论文，该论文证明了在许多深度学习模型中，存在着一些小的子集可以训练到完全准确。https://www.youtube.com/embed/s7DqRZVvRiQ?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&wmode=transparent 找到这些子网可以大大减少训练深度学习模型的时间和成本。彩票假说的发布引发了对在初始化或训练初期修剪神经网络的方法的研究。 AI研究人员在他们的新论文中研究了一些更广为人知的早期修剪方法：单次网络修剪（SNIP），在ICLR 2019上展示; 在ICLR 2020上展示的梯度信号保存（GraSP）和迭代突触流修剪（SynFlow）。 SNIP的目标是减少对损失最不重要的砝码。GraSP旨在修剪对梯度流有害或影响最小的砝码。作者写道：“ SynFlow反复修剪权重，目的是避免层崩溃，因为修剪会集中在网络的某些层上，过早地降低性能。” 早期神经网络修剪如何执行？ 几种新技术可以在初始化阶段修剪深度神经网络。尽管它们的性能优于随机修剪，但仍未达到pos训练基准。 AI研究人员在他们的工作中将早期修剪方法的性能与两个基准进行了比较：训练后的幅度修剪和彩票倒带（LTR）。幅度修剪是在对神经网络进行充分训练后删除多余参数的标准方法。彩票倒带使用Frankle和Carbin在其早期工作中开发的技术来对最佳子网进行重新训练。如前所述，这些方法证明存在次优网络，但是只有在训练了整个网络之后，它们才存在。这些训练前的修剪方法应该在训练神经网络之前的初始化阶段找到最小的网络。 研究人员还将早期修剪方法与两种简单技术进行了比较。其中之一从神经网络中随机删除权重。检查随机性能对于验证一种方法是否提供了重要的结果很重要。AI研究人员写道：“随机修剪是一种早期修剪的天真方法，其任何新提议都应超越其性能。” 另一种方法是根据参数的绝对权重删除参数。作者写道：“幅度修剪是修剪的一种标准方法，并且是早期修剪的另一个比较幼稚的比较点，”作者写道。 实验是在VGG-16和ResNet的三个变体（两个流行的卷积神经网络（CNN））上进行的。 在AI研究人员评估的早期修剪技术中，没有哪一种早期方法能脱颖而出，并且性能会因所选择的神经网络结构和修剪百分比而异。但是他们的发现表明，在大多数情况下，这些最新方法比粗随机修剪要好得多。 但是，这些方法都无法达到基准训练后修剪的准确性。 总体而言，这些方法取得了一些进展，通常胜于随机修剪。但是，就整体准确性和可以达到完全准确性的稀疏性而言，训练后的进展仍然远远没有达到修剪水平。”作者写道。 研究早期修剪方法 对早期修剪方法的测试表明，它们对随机改组和重新初始化具有强大的抵抗力，这表明它们在目标神经网络中找不到适合修剪的特定权重。 为了测试修剪方法为何表现不佳，AI研究人员进行了几次测试。首先，他们测试了“随机改组”。对于每种方法，他们随机切换从神经网络的每一层中删除的参数，以查看它是否对性能产生影响。如果如修剪方法所建议的那样，它们根据其相关性和影响来删除参数，那么随机切换将严重降低性能。 令人惊讶的是，研究人员发现随机改组对结果没有严重影响。相反，真正决定结果的是它们从每一层去除的权重的数量。 “所有方法在随机洗牌时都可以保持准确性或得到改善。换句话说，这些技术所提取的有用信息不是去除单个权重，而是修剪网络的分层比例，”作者写道，并补充说，尽管分层修剪比例很重要，但并不重要。足够。证明是，训练后的修剪方法可以通过选择特定权重并随机更改它们来达到完全准确性，从而导致修剪后的网络的准确性突然下降。 接下来，研究人员检查了重新初始化网络是否会改变修剪方法的性能。在训练之前，将使用所选分布中的随机值初始化神经网络中的所有参数。以前的工作，包括Frankle和Carbin所做的工作，以及本文前面提到的“生命游戏”研究，都表明这些初始值通常会对培训的最终结果产生重大影响。实际上，术语“彩票”是基于以下事实而创造的：幸运的初始值可以使小型神经网络在训练中达到高精度。 因此，应根据参数值选择参数，并且如果更改其初始值，则将严重影响修剪网络的性能。再次，测试没有显示出重大变化。 “所有早期修剪技术都对重新初始化具有鲁棒性：无论是使用原始初始化还是使用新采样的初始化来训练网络，准确性都是相同的。与 “随机改组，这种对初始化的不敏感可能反映了这些方法用于修剪的信息的局限性，从而限制了性能。” AI研究人员写道。 最后，他们尝试反转修剪后的重量。这意味着对于每种方法，他们都将砝码标记为可移动，而去掉了应该保留的砝码。最终测试将检查用于选择修剪权重的计分方法的效率。SNIP和SynFlow这两种方法对反演显示出极大的敏感性，而其准确性却下降了，这是一件好事。但是，在减去修剪后的权重后，GraSP的性能并没有降低，在某些情况下，它甚至表现更好。 这些测试的关键之处在于，当前的早期修剪方法无法检测到在深度学习模型中定义最佳子网的特定连接。 研究的未来方向 另一个解决方案是在早期训练中执行修剪，而不是进行初始化。在这种情况下，神经网络在被修剪之前会针对特定时期进行训练。这样做的好处是，您可以修剪部分收敛的网络，而不必在随机权重之间进行选择。AI研究人员进行的测试表明，大多数修剪方法的性能会随着目标网络经过更多的训练迭代而提高，但仍低于基准基准。 在早期培训中进行修剪的权衡是，即使成本远低于完整培训，您也必须在这些初始纪元上花费资源，并且您必须权衡并在绩效提升与培训之间做出适当的权衡费用。 AI研究人员在他们的论文中提出了修剪神经网络研究的未来目标。一个方向是改进现有方法或研究新方法，这些方法可以找到特定的权重来修剪，而不是在神经网络层中按比例进行修剪。第二个领域是寻找更好的早期修剪修剪方法。最后，幅度和梯度可能不是早期修剪的最佳信号。“我们应该在早期训练中使用不同的信号吗？我们应该期望在训练初期起作用的信号在训练后期起作用（反之亦然）吗？” 作者写道。 本文中的某些主张遭到了修剪方法的创建者的质疑。Namhoon Lee表示：“虽然我们对我们的工作（SNIP）吸引了很多兴趣并感到非常兴奋，并在Jonathan等人的建议论文中得到了解决，但我们发现论文中的某些说法有些麻烦，” Namhoon Lee牛津大学的AI研究人员，SNIP论文的合著者之一，告诉TechTalks。 … Continue reading 为什么降低训练神经网络的成本仍然是一个挑战
Research
Shakir Mohamed 对“好”的想象，改变的使命
2020年10月29日| 以人为本的AI ·讲座和教程·转型 非常感谢有机会支持2020 TechAide AI4Good会议。这是谈话的内容。您可以在此处找到视频。 问候！今天能与您一起参加2020 TechAide AI4GOOD大会真是太好了。我叫Shakir Mohamed，我的代名词是他/他们。我将本次演讲的标题命名为“美好的想象-改变的使命”，它既是对话，又是挑战：与您互动，考虑如何构建一种新型的AI for Good的关键技术实践实践，当然是今年会议的主题。大会的使命很充实，我感谢组织者给我这样以这种方式支持其慈善宗旨的机会，并希望您能够以任何方式支持这一事业。 在开始时，有一些关于我的事。我是伦敦DeepMind的研究员，也是Deep Learning Indaba的创始人和受托人。您会发现我支持转型和多元化的努力。我会写一些关于统计推断方法的文章，还会写一些关于AI中社会技术因素的文章。能够做到这一点我感到很幸运，特别是因为我发现能够跨学科领域工作并拥有许多不同的研究方法而感到非常高兴。我对这种跨学科的研究方法引起的混杂和混乱的问题和对话的类型感兴趣，因为我相信这是一种我们可以有目的地明确了解我们想在世界上看到的善的方法，特别是在与AI和数字技术的关系。与其探索我的一些技术工作和应用，相反，我将依靠我的工作和经验来回答AI4Good的问题。非常感谢您的宝贵时间，并感谢您与我一起进行接下来的25分钟行程。 “当大规模组织的信息概念悄然出现并成为一种社会控制手段时，人类几乎没有注意到”。我想让你猜猜这是什么时候写的。鉴于新闻越来越引起人们的关注，而且最近的奖学金令人难以置信，您可能会猜到这是最近二十年来对算法危害的最新描述。你会错的。这是埃德温·布莱克（Edwin Black）对1900年世界的描述，是打孔卡的发明以及自动化和数据收集的新潮流。 在此期间，鲜为人知的计算和统计领域（今天的AI领域的支柱）变得具有强大的能力，可以对大量数据进行分类。借助增强的统计能力，我们现在能够在国家和大洲的范围内准确，准确地识别出感兴趣的对象，评估相互竞争的选择之间的权衡，组织最佳行动顺序，并最终审核任何选定行动方式的效率。 这几乎对每个部门都是一个福音。美好的可能性以及对现在可能出现的新型期货的想象一定令人振奋。与今天的AI技术专家和科学家一样。但是，如果这种增强的统计能力以及新的行动和效率被用于谋杀犹太人民，该怎么办？ 统计数据和那个时代的技术产业就是这样进入黑暗阶段，走向邪恶目的和种族灭绝的。正如爱德温·布莱克（Edwin Black）的法医证据所示，对于纳粹官员和整个第二次世界大战，统计数据变得“对帝国至关重要”，帝国政府希望“为和平与战争中的新任务提供统计数据”。通过从工作环境中抽象出来，计算科学不加批判地改进了其方法，以提高准确性，效率和财务利润，并导致数以百万计的人死亡。历史提醒我们，技术发展趋向于寄予厚望，并伴随着残酷的能力。我们还记得我们人工智能领域的基础吗？ 我在讲这个故事是为了就近年来围绕AI4Good项目引发的许多担忧展开讨论。关于AI4Good的关注和反对很多。这些包括： 宠物项目评论。AI4Good的标志下的项目不过是研究人员在应用领域的宠物项目，没有任何实际影响的意图。 炒作批评。AI4Good提出了对世界充满希望的社会的技术乐观主义和技术解决主义观点，但是很少有证据表明情况确实如此。 剥削批评。AI永久项目是单板，我们将技术产品作为其营销策略的一部分。在这里，永久性AI项目的目的并不是要有意义地学习和与其服务的社区互动，而是掩盖了数据收集和利润的真正目的。 模糊的批评。我们针对AI4Good的方法是没有特定性地制定的，并且在政治或社会变革方面缺乏严格的基础，因此，这种方法始终无法贯彻“善”的含义。 所有这些批评都为我们认真对待提供了强有力的证据。就像统计数字和德国帝国的故事一样，这些批评动摇并破坏了我们作为技术设计师的信心-使我们有可能将我们的工作转而牵涉到伤害。对我来说，这破坏了我们作为科学家和技术专家的信心，这必须成为我们创建负责任的AI4Good堂兄的方法的一部分。当我们使用“好”这个词时，责任必须是我们所有人都想并希望表达的意思。 如果对AI4Good的项目一无所知，那将是错误的。我们确实找到了许多伟大作品的例子，这些例子深深地激发了我们探索当代AI的可能性。当我们找到这些实例时，它们便指出了已经可能发生的变化之路。我想举三个例子，对您的好问题进行更深入的探讨。 第一个挑战是记录和提供与侵犯人权有关的证据基础。国际特赦组织表明，将遥感数据与人工智能相结合可以成为扩大人权研究范围的有力方法。在他们的工作中，他们能够发现被忽视的虐待行为，并且通过对大量图像进行分类和分类，可以记录例如村庄毁坏和虐待的速度和程度。通过这种方式，我们看到了以我们希望的所有方式开发的技术工具，可以支持特定的需求领域。 在全世界，十分之九的人呼吸不干净的空气。不幸的是，这主要发生在低收入国家。这是AirQo出色的工作之所在，它使用定制的低成本传感器网络来提供准确的空气质量预测，该网络收集了乌干达65个地点的数据。在COVID大流行中，非药物干预是我们都已敏锐意识到的概念，空气质量预测为此类干预提供了另一条途径。这项令人难以置信的工作的力量在于它有潜力帮助公民和政府更好地计划和减轻不断变化的环境状况，而这些正是我们将继续需要越来越多的政策支持的类型。 塞伦盖蒂-马赛马拉生态系统是世界上最后的原始生态系统之一，也是世界上最大的动物迁徙之一。Snapshot Serengeti的这个项目使用相机陷阱中的图像来帮助保护主义者了解哪种管理策略最有效地保护了将该地区称为家园的物种。机器学习有助于加速对收集的图像的研究和分析，有助于发展新的生态功能理论，并更好地理解塞伦盖蒂动物的秘密生活。我很幸运在2019年访问了该地区，我想我应该分享这段关于我对自然奇观的体验的视频。 在讨论过程中，请分享您自己的项目示例，这些示例阐明了什么是可能的和好的。我在这里选择的三个示例的一个共同特征是，它们以明确的变革使命为中心。加强人权证据的特派团，以更好的环境理解支持公共卫生的特派团，维护世界原始生态系统的特派团。这些示例与寻求实现AI4Good的项目无关。对他们而言，AI4Good是努力实现明确的变革使命的结果。这是我要与您进行的第一点对话：我们可以通过首先并且始终将我们支持的变革使命作为中心，制定可能破坏我们作为技术设计师的信心的策略，从而解决AI4Good的批评。 对于在慈善和非政府部门工作的任何人来说，这都是众所周知的，从他们的经验和方法论中我们可以学到很多东西。我很幸运能成为一个集体的一员，以探索和发展我们在短文中写到的这些思维方式。在这些领域中使用的关键工具是发展和传播变革理论。变革理论通常以图表的形式传达，将我们正在研究的部门的当前状态映射到我们希望在世界上看到的期望的变革。尽管变革理论是慈善领域的要求，但我认为它可以作为塑造研究和AI4Good的工具发挥强大作用。 通过使用变革理论，我们可以直接解决我之前回顾的批评。通过明确规定变革的使命，我们确保在工作开始时，然后在任何项目的整个生命周期中，就构成工作中良好定义的政治和社会基础进行讨论。善的定义便与变革使命联系在一起。众所周知，对于任何一项工作，还存在相互竞争的因素和方法，并且通过绘制从当前状态到期望的愿景的路径，这些替代方案也得到了讨论和讨论。同样重要的是，变革理论要认识到我们并不是一个人工作，而且我们不是我们工作的任何领域的唯一参与者。因此，谦虚的态度很重要， 最后一点尤为重要，因为它强调了衡量在评估是否达到良好结果方面的作用，并且明确了受益人和谁被忽略：评估对谁有益的结果。变革理论旨在成为从计划，干预措施到措施和结果的因果图。在绘制此变化过程的图表时，可以考虑因果链中每个位置的度量。虽然，测量很困难。 今天，可持续发展目标对我们来说是为人工智能造福社会的重要指南来源之一。可持续发展目标的优点之一是，它们在17个目标中配备了210项措施。同时，这是对可持续发展目标的批评之一，质疑这些措施的有效性，可靠性和频率，以支持报告和变更。在这一一般领域，我们很幸运能够利用慈善部门开发的有关监测和评估的知识和专长。顺便说一句，我认为变革理论通常是研究计划的有力工具， 现在切换一下齿轮。我现在想向您提出的问题很简单：全球AI是否真正全球化？这是一个提示性的问题，因为在大多数情况下，人工智能不是全球性的。相反，它是本地化的，包含在特定的个人，组织和国家中。也许我们也可以说全球科学。通过将不同国家的研究人员数量视为一个粗略的代表，我们可以阐明这一点。在英国，或者在类似国家（例如德国或美国），每100万人中大约有4000名研究人员。在我引以为傲的南非，这个数字是百万分之400。在加纳，这一数字接近百万分之40。 作为变革理论的宏伟愿景的一部分，很容易产生一种普遍适用的观点以及我们希望最终开发的技术优势的诱惑。但是，对研究人员人数的简单回顾表明，目前对全球知识的贡献还远远不够统一。因此，对于AI通用性的任何观点都需要受到更深层次的质疑，并且从这一认识开始，我们可以对AI4good项目进行更深入的理论分析。 由于许多AI4Good项目都是针对社会，人道主义或发展需求的，因此有关他们如何想象，理解和使用知识的问题成为了审讯的核心领域。我们的认识论基础以及对知识的隐性持有和毫无疑问的信念，在进行研究和部署时所表现出的态度中展现了自己。 态度1-知识转移。就其性质而言，AI4good项目隐式或显式地承认知识和专业知识在世界上是不平衡的。对于AI4Good来说，我们的部分工作似乎是为了帮助知识从权力中心（如研究实验室）迁移到缺乏知识的地方。 态度2-仁慈。出现的一种隐含态度是，在缺乏信息，知识或技术的情况下，技术开发应由知识渊博的人或有能力的人代表将受其影响或更改的其他人来进行。 态度3-可移植性。应用于任何特定地点或情况的知识和表示被认为同样适用于任何其他情况或地点，并且在任何地方开发的知识计划在其他地方也将同样有效。 态度4-量化。不可避免的对话是，作为比较，评估，理解和预测的工具，对世界进行量化和统计是理解世界的唯一方式。 态度5-卓越标准。作为最后的态度问题，我们是否假设大都会研究实验室内的标准，形式和世界，也就是在我们的知识和技术力量中心内，将成为其他地区未来的典范。 我们每个人都不总是容易质疑这些态度的来历，但这是我们必须做的。这些态度部分是由于我们共同的殖民主义经验迫使我们所有人生活下来的一种较旧的生活方式。殖民主义是在“善”的旗帜下进行的最后和最大的任务之一-表面上是将文明，现代性，民主和技术带给没有文明的人。殖民主义的影响今天继续影响着我们： 在身体上塑造边界的方式，在心理上思考我们对自己和彼此的看法， 在语言上扮演着当今英语作为科学和交流语言的角色， 在殖民时代发明种族主义和种族化以建立人与人之间等级划分的秩序， 从经济角度讲如何在一处提取劳动力，而在另一处产生利润， 在政治，治理和法律以及国际关系的结构内，这些结构仍属于殖民主义的断层线。 我们使用“殖民主义”一词来指代殖民主义的残余以及对当前知识和理解的影响。 因此，我要为您介绍的第二点是与AI4Good的殖民地竞争。殖民主义试图解释殖民者与被殖民者之间权力模式的延续，以及这些关系的当代残余。殖民地质问权力关系如何塑造我们对文化，劳动，主体间性和知识的理解。当好的项目失败时，就会发现家长式，技术解决主义和掠夺性包容的默认态度。 我用来解开与知识有关的态度问题的方法，是遵循一种关于知识非殖民化的特殊思考途径。在这种非殖民化观点下，我们被要求通过强调和认识到以前被边缘化的知识的合法性，来重新评估什么是知识学科的基础。这种认识将导致我们进行通常所说的“非殖民化转弯”，而对于我们的AI领域，我将其表述为关于我们如何重塑作为非殖民化AI领域的工作的问题。 尽管具有殖民权力，但历史记录表明，殖民主义绝不仅仅是强加于人的行为。通常也存在角色互换的情况，大都市必须面对殖民地的知识，并从外围以及治理，权利，管理和政策的所有领域吸取教训。一个逆向监护尽管造成了大量的损失和暴力，但在中心和外围之间建立了联系。通过将这种见解转化为我们可以使用的工具，现代批判性实践寻求使用殖民主义的命令来发展双重愿景：积极确定使反托拉特成为其基础的组成部分的中心和外围，同时还力求消除有害的电源二进制文件：既有力量又受压迫的人，既有大都市和周边地区，又有科学家和人文主义者，有自然和人为的。 反向监护直接谈到了构成知识的哲学问题。在知识的绝对观点和数据观点之间仍然存在张力，一旦获得足够的知识，就可以使我们形成完整且包含世界的抽象，而知识观点则始终是不完整的，并且在不同的情况下会被选择和解释。价值体系。确定什么才算是有效知识，数据集中包括什么以及什么被忽略和毫无疑问是我们作为AI研究人员所拥有的一种力量，这种力量不能被忽视。在这种情况下，殖民主义科学，尤其是反向监护的策略，成为其标志。 反向教学法导致了从家长式统治向团结的殖民主义转变。这给了我们两种直接策略。首先是建立有意义的跨文化对话体系，以及广泛参与技术开发和研究的新模式。跨文化对话是跨文化数字伦理学领域的核心，它询问技术如何支持社会和文化，而不是成为文化压迫和殖民主义的工具。这种对话不是在我们的工作中寻求普遍道德，而是导致多元主义的另一种选择，即所谓的普遍道德。 第二种策略在于我们如何支持新型的政治社区，这些政治社区能够改革现代生活中发挥作用的等级制度，知识，技术和文化体系。作为一种方法，我是对基层组织的支持的热烈拥护者，他们具有创造新形式的理解，加强文化间对话，展示团结和替代社区形式的能力。 我想分享自己的经验，将这种社区理论付诸实践。大约4年前，我是一群人的组成部分，以创建一个名为Deep Learning Indaba的新组织，其任务是在整个非洲大陆加强机器学习。在我们的多年工作中，我们已经能够在非洲各地建立新的社区，建立领导力并认可卓越的人工智能开发和使用。看到非洲各地的年轻人发展自己的想法，第一次展示他们，获得他们的工作认可，并在同龄人中知道他们的问题和方法很重要，这是他们的方式的一部分，这是一种荣幸。正在独特地塑造我们大陆的未来。我很自豪地看到，除了东欧，东南亚，南亚和南美等其他群体也跟随同样的步伐，此外还有其他鼓舞人心的社区群体，例如“黑死病”，“非洲数据科学”，人工智能中的黑人和人工智能中的酷儿：所有人都对其社区负责，并开展基层运动以支持AI，对话和变革。回顾过去的五年，我相信我们现在可以诚实地说，由于这些群体的奉献和牺牲，全球AI现在更加全球化。 当我一起结束旅程时，我想与一个明确的变革使命共享一个问题领域，这构成了今年的Indaba挑战赛。我要您考虑的变革使命是消灭被忽视的热带病（NTD）。约有14亿人口（占世界人口的六分之一）患有一个或多个NTD，他们被忽视是因为他们普遍困扰着世界上的穷人，而且历来没有像其他疾病那样受到广泛的关注。忽视这个词很重要，因为一个非常常见的词句强调：“被忽视的疾病也是被忽视的人民的疾病”。在这里，殖民地的作用很重要，因为我们必须问一个问题，为什么在历史上和现在这样的忽视不仅存在于NTD，而且存在于许多要求AI4Good的地区。 NTD是广泛的疾病类别，在这里我将展示世界卫生组织使用的分类。我们很幸运，2020年对于被忽视的疾病来说是重要的一年，因为世界卫生组织发布了一项重要的新路线图，该路线图建立了对话，连接了专门知识和社区，并阐明了解决这一问题所需的措施。正如世卫组织被忽视疾病负责人Mwelecele Malecela博士几个月前对我说的那样，现在无论是在药物利用领域还是在诊断和诊断领域，机器学习和AI都有机会帮助支持这一重要使命。检测或医师培训。在这个领域有很多事情要做，通过为利什曼病的特定疾病创建任务，深度学习Indaba试图建立董事会联盟以帮助提高认识并鼓励在这一领域的研究：与非洲自己的数据科学竞赛平台Zindi，非洲领先的AI和技术初创公司之一InstaDeep以及DNDi药物合作为被忽视疾病倡议，世卫组织以及其他许多机构，朝着这一方向迈出了第一步。我向您提出的建议是考虑您可以凭借自己的专业知识和关注力来解决此问题的任何部分。 … Continue reading Shakir Mohamed 对“好”的想象，改变的使命
AN #108 为何需要仔细检查人工智能风险的争论
中文版 对齐周报第 108 期 对齐周报是每周出版物，其最新内容与全球人工智能对齐有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 Ben Garfinkel 对人工智能风险的经典争论的仔细检查（Howie Lempel 和 Ben Garfinkel）（由 Asya 总结）：在本播客中，Ben Garfinkel 考察了他对人工智能风险经典的争论持怀疑态度的几个原因（先前在此处进行了讨论（AN＃45）） ）。播客比此摘要具有更多的细节和细微差别。 Ben 认为，从历史上看，很难以一种可以预见的长期方式对变革性技术产生影响 —— 例如，很难看到我们可以在农业或工业化发展方面做些什么会影响到今天的世界。他认为，可以通过解决日益增加的政治动荡或锁定的可能性来获得长期影响的一些潜在途径，尽管他认为目前尚不清楚我们可以采取什么措施来影响锁定的结果，尤其是在遥远的情况下。 在对齐方面，Ben 聚焦于 Nick Bostrom 的《超级智能》（Superintelligence）中概述的标准论证集，因为它们具有广泛的影响力，而且充实。Ben 对这些论点有一些异议： 他认为不会突然跳升至功能极为强大和危险的人工智能系统，并且认为如果能力逐渐提高，我们将有更大的机会纠正出现的问题。 他认为，使人工智能系统具有能力和使人工智能系统具有正确的目标很可能并存。 他认为，仅仅因为有很多方法可以创建具有破坏性的系统，并不意味着创建该系统的工程过程很可能会被那些破坏性的系统所吸引；似乎我们不太可能偶然创建足以破坏人类的破坏性系统。 Ben 还花了一些时间讨论Mesa 优化（AN＃58），这是关于人工智能风险的新论点。他在很大程度上认为，mesa 优化的理由尚未充分充实。他还认为，学习不正确的目标可能是由于系统不够复杂而无法正确表示目标的结果。经过足够的训练，我们实际上可能会收敛到我们想要的系统。 鉴于当前的争论状态，Ben 认为值得 EA 充实有关人工智能风险的新争论，但也认为在人工智能相关主题上没有相对优势的 EAer 不一定要转向人工智能。Ben 认为，我们在人工智能安全和治理上花费的资金比 Alec Baldwin 主演的 2017 年电影《老板宝贝》（Boss Baby）投入更少是一种道德上的愤怒。 Asya 的观点：该播客涵盖了现有论点的令人印象深刻的广度。许多推理类似于我从其他研究人员那里听到的（AN＃94）。我非常高兴 Ben 和其他人花时间批评这些论点。除了向我们展示我们错在哪里，它还帮助我们引导到更合理的人工智能风险场景。 … Continue reading AN #108 为何需要仔细检查人工智能风险的争论
AN #107 目标导向的智能体的收敛工具性子目标
中文版 对齐周报第 107 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 基本的人工智能驱动力 （Stephen M. Omohundro）（由 Rohin 总结）：2008 年的论文介绍了收敛的工具性子目标：除非谨慎避免，否则人工智能系统将“默认”具有这些子目标。对于本文而言，人工智能系统是“具有通过在世界范围内行动而试图实现的目标”的系统，即，它假定系统是目标导向的（AN＃35）。 首先要论证一个足够强大的目标导向的人工智能系统将要自我提升，因为这可以帮助它在（可能很长的）未来更好地实现其目标。特别是，从效用函数由其目标决定的角度出发，它将希望最大化其期望效用，这将使其成为“理性的” 。（这样做的理由是 VNM 定理，以及支持贝叶斯主义和期望效用最大化的各种荷兰赌（Dutch book）论点。） 但是，并非所有修改都对人工智能系统有利。特别是，它将非常希望保留其实用效用函数，因为它决定了将来它将（尝试）完成的工作，并且从当前实用效用函数的角度来看，实用效用函数的任何更改将是一场灾难。同样，它将希望保护自己免受伤害，也就是说，它具有生存动机，因为如果死了就无法实现其目标。 最终的工具性子目标是获取资源并有效地使用资源以实现其目标，因为按照定义，资源几乎可用于多种目标，包括（可能是）人工智能系统的目标。 Rohin 的观点：在本期周报中，我经常提到收敛的工具性子目标，因此似乎我应该对其进行总结。我特别喜欢这篇论文，因为它在 12 年后保存得很好。即使我批评（AN＃44）认为强大的人工智能系统必须是期望效用最大化器的想法，但我仍然发现自己同意本文，因为它假设了目标导向的智能体和那里的原因，而不是试图争论强大的人工智能系统必须以目标为导向。鉴于此假设，我同意此处得出的结论。 技术性人工智能对齐 MESA 优化 内部安全性，外部安全性以及构建安全高级人工智能的建议 （Lucas Perry 和 Evan Hubinger）（由 Rohin 总结）：该播客涵盖了很多主题，特别关注高级机器学习系统中学习到的优化带来的风险（AN＃ 58），以及有关构建安全高级人工智能的11条建议的概述（AN＃102）。 Rohin 的观点：我的摘要很详细，因为在本周报中之前已经强调了许多主题，但是如果你不熟悉它们，那么播客是学习它们的重要资源。 学习人类意图 利用本体感受从视频中模仿学习（Faraz Torabi 等人）（由 Zach 总结）：从观察（IfO）到模仿学习的最新工作使智能体可以从不包含状态和动作信息的视觉演示中执行任务。在本文中，作者对利用本体感受信息，内部状态的知识来创建有效的 IfO 算法感兴趣。与通常仅使用观察向量的 GAIfO 相比，该算法仅允许将图像用于判别，但允许智能体使用内部状态来生成动作。他们在多个 MujoCo 域上测试了他们提出的技术，并表明它优于观察算法的其他模仿技术。 Zach 的观点：我认为很容易忘记观察不一定等同于状态表示。这篇文章很好地提醒了我，在 … Continue reading AN #107 目标导向的智能体的收敛工具性子目标
AN #101 为何我们需要严格度量和预测人工智能进展
中文版 对齐周报第 101 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 Danny Hernandez 在预测人工智能和人工智能驱动力方面的观点（Arden Koehler 和 Danny Hernandez）（由 Rohin 总结）：该播客是对实践预测及度量人工智能及其重要性的一个不错的介绍. 我不会总结在播客中的所有内容，列出其中一部分观点. Danny 谈到了 AI and Compute （AN #7）和 AI and Efficiency（AN #99）里面他在 OpenAI 完成的工作. 前者展示了用于最大规模的实验的算力从 2012 年到 2018 年间提升了 300,000 倍，后者告诉我们在同一时间区间内算法已经能够以 25 倍少的算力达到类似性能（从 2012 年到 2019 年达到 44 倍）. 一件我之前没有意识到的事是 25 倍或者 44 倍因子应被看作是一个松的下界：在其他领域中如语言建模，这个因子实际上更高. 但是更为重要的是，采用的这个方法论不能够给我们建模一个算法的效果来做一些之前我们不能做的事情（这个可以被解释成某些我们可以做大，但需要更多算力）. 可能这个算法进展应该被看作是效率但 100 … Continue reading AN #101 为何我们需要严格度量和预测人工智能进展
AN #102 通过 GPT-3 的元学习和人工智能对齐的完全提议列表
中文版 对齐周报第 102 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 语言模型是少次学习器 （Tom B. Brown 等）（由 Rohin 总结）：最大的 GPT-2 模型（AN＃46）具有 15 亿个参数，自发布以来，人们已经训练了多达 17 种语言模型十亿个参数。本文报告了 GPT-3 的结果，其中最大的模型具有 1,750 亿个参数，比以前的最大语言模型增加了 10 倍。为了消除障碍，它在零次语言建模方面建立了新的技术水平（SOTA）（仅在 Penn Tree Bank 上进行评估，因为其他评估集偶然地是其训练集的一部分）。 本文的主要重点是分析 GPT-3 的少次学习功能。在短暂的学习中，经过最初的训练阶段之后，在测试时会为模型提供少量新任务的示例，然后必须为新输入执行该任务。通常使用元学习或调优来解决此类问题，例如，在测试时 MAML 对新示例采取了一些渐变步骤，以生成针对测试任务进行调优的模型。相比之下，GPT-3 的主要假设是语言是如此多样，以至于要在语言上做得很好就需要适应输入，因此学习的语言模型将已经是元学习器。这意味着他们可以使用他们关心的任务的示例简单地“填装”模型，并且模型可以了解应该执行的任务，然后很好地执行该任务 例如，考虑使用已经解释了含义的新组成单词生成句子的任务。在一个值得注意的示例中， GPT-3 的提示是： “whatpu”是坦桑尼亚产的一种小型毛茸茸的动物。使用单词 whatpu 的句子示例如下： 我们在非洲旅行，我们看到了这些非常可爱的 whatpus。 做一个“farduddle”意味着跳得很快。使用单词 farduddle 的句子的示例是： 给出此提示后，GPT-3 会为“farduddle”生成以下示例语句： 有一天，当我和我的妹妹玩耍时，她感到非常兴奋，开始做这些疯狂的 farduddle。 本文对存在基准的多个下游任务进行了测试（例如，问题解答），并报告了所有这些任务的零射，单射和少射性能。在某些任务上，尽管没有使用基准测试的训练集进行微调，但快照版本设置了新的 SOTA … Continue reading AN #102 通过 GPT-3 的元学习和人工智能对齐的完全提议列表
AN #103 ARCHES：存在性安全的议程和组合自然语言的深度强化学习
中文版 对齐周报第 103 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 关于人类存在性安全的人工智能研究注意事项 （Andrew Critch 等人）（由 Rohin 总结）：CHAI 之外的研究议程直接处理长期主义者关注的问题：如何预防与人工智能相关的存在性灾难。这与“可证明有益”的概念明显不同：可证明有益的一个关键挑战是定义我们甚至所说的“有益”。相比之下，有一些预防人工智能引起的人类灭绝的途径并不需要了解“有益的”：最易见的是，我们可以进行协调以决不构建可能导致人类灭绝的人工智能系统。 由于重点放在人工智能系统的影响上，因此作者需要为此类人工智能系统重新命名。他们将强大的人工智能系统定义为不受人类控制的人工智能系统，并有可能以至少与整个人类一样具有影响力的方式改变世界。这样的人工智能系统不必是超级智能的，甚至不需要通用人工智能。它可能在狭窄的领域中具有强大的功能，例如技术自主性、复制速度或能够实现优势的社交敏锐度。 根据定义，强大的人工智能系统能够彻底改变世界。但是，人类持续生存有许多条件，而世界上的大多数变革都不会保留这些条件。（例如，考虑地球的温度或大气的成分。）因此，人类灭绝是部署强大的人工智能系统的默认结果，只有在该系统旨在保护人类存在的前提下，才可以避免灭绝人类。相对于其动作的重要性而言，精度很高。他们将未对齐的强大的人工智能系统（MPAI）定义为部署会导致人类灭绝的系统，因此主要目标是避免 MPAI 的部署。 作者将 MPAI 的部署风险分为五个子类别，具体取决于开发人员的信念、行为和目标。人工智能开发人员可能无法预测优势，无法预测未对齐，无法与其他团队协调部署形成 MPAI 的系统，偶然（单方面）部署 MPAI 或有意（单方面）部署 MPAI。还有一些危险的社会条件可能会增加风险的可能性，例如不安全的种族发展、人类的经济转移、人类的软弱无力以及完全避免谈论存在性风险。 从风险转到解决方案，作者根据他们所考虑的设置沿三个轴对研究方向进行了分类。首先，有一个或多个人；第二，有一个或多个人工智能系统；第三，它是否帮助人们理解，指导或控制人工智能系统。因此，多/单指令将涉及多个人指令一个人工智能系统。尽管我们最终将需要多重/多重场景，但是前面的情况是较容易解决的问题，从中我们可以获取有助于解决一般多重/多重情况的见解。同样，理解可以帮助指导，两者都可以帮助控制。 然后作者继续列出 29 个不同的研究方向，在此不再赘述。 Rohin 的观点：我喜欢本文的摘要和介绍部分，因为它们直接说明我们想要和关心的内容。我也非常赞成可证明有益和降低存在性风险与单/多分析之间的区别。 应用于通用智能体的人为脆弱性论点有些棘手。一种解释是，“硬度”源于这样一个事实，即您需要一堆“位”的知识/控制权才能使人保持周围。但是，似乎一般智能的AI应该可以轻松地使人类“愿意”，因此人工智能中已经存在这些东西。（作为类比：我们对环境进行了很大的改变，但如果愿意的话，我们可以轻松地保护鹿的栖息地。）因此，这实际上是一个问题，即你期望人工智能系统是从哪个“分布”中取样的：如果你认为我们将构建尝试做人类想要的人工智能系统，那么我们可能还不错，但是如果你认为会有多个人工智能系统可以各自满足用户的需求， 研究方向非常详细，尽管有些建议对我来说似乎并不是特别有用，但总的来说，我对这份清单感到满意。（正如论文本身所指出的，有用和不有用取决于你的人工智能发展模型。） 通过从文本中进行转移学习来进行深度强化学习的人类教学 （Felix Hill 等人）（由 Nicholas 总结）：本文提出了“从文本转移到人的模拟指令”（SHIFTT）方法，用于训练强化学习智能体以自然语言接收来自人类的命令。解决此问题的一种方法是训练强化学习智能体基于模板响应命令。然而，这对于人类如何改变命令表达方式的微小变化并不健壮。相反，在 SHIFTT 中，你从诸如 BERT 之类的经过预先训练的语言模型开始，并首先通过该语言模型提供模板化命令。然后将其与愿景输入相结合以制定策略。人工命令随后通过相同的语言模型进行反馈，他们发现该模型即使在结构上有所不同，也可以零人工迁移到人工命令。 Nicholas 的观点：自然语言是一种非常灵活，直观的向人工智能传达指令的方式。在某些方面，这将对齐问题从强化学习智能体转移到了受监督的语言模型，后者仅需要学习如何正确解释人类语音背后的含义。这种方法的一个优势是，语言模型是经过单独训练的，因此可以在用于训练强化学习智能体之前对其进行安全性标准的测试和验证。它可能比诸如奖励模型等替代方案更具竞争力，而替代方案则需要为每个任务训练新的奖励模型。 但是，我确实看到了这种方法的一些缺点。首先是人类并不擅长以自然语言表达其价值观（例如，迈达斯国王希望他所接触的一切变成黄金），自然语言可能没有足够的信息来传达复杂的偏好。即使人类给出了准确正确的命令，语言模型也需要正确验证这些命令。由于当前的语言模型难以解释并且包含许多有害的偏见，因此这可能很困难。 参与中的基础语言 （Corey Lynch等人）（由Robert总结）：本文提出了一种在机器人技术中学习遵循自然语言人类指导的新方法。它建立在与从游戏中学习潜伏计划（AN＃65）类似的思想的基础上，它使用了无监督的“参与”数据（人类在机器人上玩游戏的轨迹，自身并没有目标）。 本文结合了一些想法，以使训练策略可以遵循自然语言的说明，并且仅提供有限的人工注释。 在 Hindsight … Continue reading AN #103 ARCHES：存在性安全的议程和组合自然语言的深度强化学习
机器学习理论之狂欢 COLT2020
机器学习理论之狂欢 COLT 2020 The 33rd Annual Conference on Learning Theory (COLT 2020) Country: Austria City: Graz 线上举办 Abstr. due: 31.01.2020 Dates: 09.07.20 — 12.07.20 Area Of Sciences: Pedagogy; Organizing comittee e-mail: TBA here: http://learningtheory.org/colt2020/. Organizers: Association for Computational Learning The 33rd Annual Conference on Learning Theory (COLT 2020) will take place in Graz, Austria online … Continue reading 机器学习理论之狂欢 COLT2020
AN #104 无法访问的信息带来的危险，以及我们可以从 COVID 了解到的有关人工智能对齐的经验
中文版 对齐周报第 104 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 不可访问的信息 （Paul Christiano）（由 Rohin 总结）：思考人工智能对齐问题的一种方法是，我们只知道如何在我们可访问的信息上训练模型，但是我们希望模型利用不可访问的信息。 如果可以直接检查信息，或者在接受其他一些可访问信息训练后，ML模型是否可以成功迁移以提供信息，则可以访问信息。（后者的一个例子是，如果我们训练了一个系统来预测一天中发生的事情，并且成功地将其转换为预测一个月中发生的事情。）否则，信息将无法访问：例如，“Alice 在想什么” （至少目前）无法访问，而“爱丽丝会说什么”则可以访问。该帖子还有其他几个示例。 请注意，虽然 ML 模型可能无法直接准确地说出 Alice 的想法，但是如果我们训练它预测 Alice 的想法，它可能会具有 Alice 的想法的内部模型，因为这对于预测 Alice 的想法很有用。但是，由于无法从模型中提取此信息，因此无法访问。尽管我们可以训练模型以输出“Alice 在想什么”，但由于我们没有基本的事实答案，因此必须训练“对 Alice 在想什么的一致且合理的答案”。这可能会激励制定出我们最相信的错误策略，而不是报道事实。 风险论据如下：我们关心无法访问的信息（例如，我们关心人们实际体验的内容，而不是人们所说的体验的内容），但不能轻易使人工智能系统对其进行优化。但是，人工智能系统将能够推断和使用无法访问的信息，并且胜过那些无法访问的信息。人工智能系统将能够针对至少某些目标使用此类不可访问的信息进行规划。然后，使用无法访问的信息进行规划的人工智能系统最终可以控制大多数资源。关键语录：“不利于我们的关键不对称因素是，要想使繁荣发展，似乎需要获取特定数量的物品，而危险则需要具备访问任何物品的能力。” 然后，该帖子继续列出该问题的一些可能的攻击角度。迭代扩增可以被认为是解决我们训练的智能体与我们自己之间的速度、规模、经验、算法复杂性等方面的差距，这可以限制我们的智能体所能获得的，我们无法获得的信息。但是，放大似乎最终会遇到一些永远不会产生的不可访问的信息。结果，这可能是对齐的“核心”。 Rohin 的观点：我认为不可访问的信息这一概念很重要，但是很难推理。例如，我经常考虑通过近似“一个人长时间思考后会说些什么”来解决对齐问题；这实际上是一种主张，即在长时间反复进行时，人类的推理能力会很好地传递，并且“人们会说些什么”至少在某种程度上是可访问的。无论如何，人工智能系统似乎有可能继承我认为归因于人类推理的可转让性相同的属性，在这种情况下，风险论点适用，主要是因为人工智能系统可能将其推理应用于与我们关注的目标不同的目标，这使我们回到意图的一致性（AN＃33） 公式。 此回应将这篇文章视为反对黑匣子优化的相当笼统的论点，在该论点中，我们仅查看输入输出行为，因为那样我们就无法使用不可访问的信息。它建议我们需要了解AI系统的工作原理，而不是依靠搜索来避免这些问题。 冠状病毒大流行可能导致AI缓慢起飞的原因 （Victoria Krakovna）（由 Rohin 总结）：COVID-19 大流行就是人类面临的巨大风险的一个例子。我们可以从人工智能对齐中学到什么经验？这篇文章认为，这种大流行是我们在缓慢起飞情况下可以预期的那种情况的一个例子，因为我们有机会从经验中学习，采取警告标志并及时就存在严重问题达成共识。但是，尽管我们可以从 SARS 等先前的流行病中学到东西，但我们未能概括 SARS 的教训。尽管在 2 月份出现了大流行的警告迹象，但许多国家还是浪费了一个月的时间，原本本该可以储存 PPE 和测试能力的库存。我们对 COVID-19 是一个问题没有达成共识，直到 3 月底，文章都认为它并不比流感更糟。 … Continue reading AN #104 无法访问的信息带来的危险，以及我们可以从 COVID 了解到的有关人工智能对齐的经验
AN #100 智能体在执行时学习奖励函数 可能会出问题
中文版 对齐周报第 100 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 在线学习奖励函数的陷阱 （Stuart Armstrong 等人）（由 Rohin 总结）：学习要尝试优化的指标可能很危险：如果未正确设置，可能会激励智能体以在度量学习中“朝特定方向更新”，以便将来进行优化（先前在朝着交互式逆向强化学习中提出的观点）。本文分析了当智能体同时学习奖励函数时可能出现的问题，并对该奖励函数进行优化。 智能体可能有动机来“操纵”奖励学习过程，从而找到易于优化的奖励函数。例如，假设有一个学生 Sandra，她必须从 Trisha 老师那里弄清楚项目的截止日期和评估标准。Sandra 希望如果她问 Trisha 截止日期是什么时候，她会说截止日期是本周晚些时候。因此，Sandra 可能会巧妙地问：“该项目是下周还是再下周？”，Trisha 可能会在“下周”做出回应。这样，Sandra 可以操纵截止日期学习过程，以便获得更有利的截止日期。 更糟糕的是，在这种情况下，严格控制学习过程可能会破坏你正在考虑的每个奖励函数的值。例如，让我们假设，如果无法操纵 Trisha，那么 Sandra 的最佳策略将是立即开始该项目，而不管实际的截止日期是什么时候。但是，鉴于 Trisha 可以被操纵，Sandra 今天将花费其操纵 Trisha 设置一个较晚的截止日期 —— 从任何固定截止日期的角度来看，该行动显然都不理想。该论文将其描述为确定的奖励牺牲。 为避免这种情况，我们需要严格的学习过程，即始终期望的最终学习奖励（截止日期）独立于智能体（Sandra 的）策略。这种不可固定性（unriggability）几乎等同于不可影响性（uninfluencability），在该属性中，我们必须能够在环境中放置一些背景变量，以便可以说学习过程是在“学习”这些变量。从技术上讲，不可固定的过程虽然通常是必需的，但也不一定是不可影响的（有关详细信息，请参见论文）。 但是，这些属性仅约束对最终奖励分布环境的期望：它不会阻止智能体以某种方式改组奖励函数以与合适的环境匹配。例如，在不知道哪些项目是容易或困难的情况下，Sandra 可以操纵 Trisha 来为容易的项目提供早期截止日期，并为困难的项目给出较晚的截止日期，从而保留早期和晚期截止日期的分布方式。这将满足不可固定性（并且可能还会影响不可影响性，具体取决于确切的形式化）。 作者在一个简单的 gridworld 示例中演示了这些问题。他们还指出，有一种简单的方法可以使任何学习过程都不受影响：选择一个特定的策略π，该策略收集有关奖励的信息，然后将新的学习过程定义为“如果执行 π，则原始学习过程已经说的话”。 阅读更多： 博客文章：学习和运用学习 Rohin 的观点： 我对本文的观点与本文的解释方式有所不同。考虑一个人工智能系统，我们在其中构建对奖励和更新规则的先验，然后将其付诸实践。在轨迹的末端，根据推断的奖励后验下的轨迹的期望奖励来奖励它。然后，激励人工智能系统选择易于使所得后验最大化的动作。 这不需要奖励函数是模棱两可的。它只要求更新规则不完美。例如，假设 Alice 有着喜欢苹果甚于香蕉的偏好，并且你使用更新规则“如果 Alice … Continue reading AN #100 智能体在执行时学习奖励函数 可能会出问题
AGI Watchful Guardians 