中文版 对齐周报第 108 期 对齐周报是每周出版物，其最新内容与全球人工智能对齐有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 Ben Garfinkel 对人工智能风险的经典争论的仔细检查（Howie Lempel 和 Ben Garfinkel）（由 Asya 总结）：在本播客中，Ben Garfinkel 考察了他对人工智能风险经典的争论持怀疑态度的几个原因（先前在此处进行了讨论（AN＃45）） ）。播客比此摘要具有更多的细节和细微差别。 Ben 认为，从历史上看，很难以一种可以预见的长期方式对变革性技术产生影响 —— 例如，很难看到我们可以在农业或工业化发展方面做些什么会影响到今天的世界。他认为，可以通过解决日益增加的政治动荡或锁定的可能性来获得长期影响的一些潜在途径，尽管他认为目前尚不清楚我们可以采取什么措施来影响锁定的结果，尤其是在遥远的情况下。 在对齐方面，Ben 聚焦于 Nick Bostrom 的《超级智能》（Superintelligence）中概述的标准论证集，因为它们具有广泛的影响力，而且充实。Ben 对这些论点有一些异议： 他认为不会突然跳升至功能极为强大和危险的人工智能系统，并且认为如果能力逐渐提高，我们将有更大的机会纠正出现的问题。 他认为，使人工智能系统具有能力和使人工智能系统具有正确的目标很可能并存。 他认为，仅仅因为有很多方法可以创建具有破坏性的系统，并不意味着创建该系统的工程过程很可能会被那些破坏性的系统所吸引；似乎我们不太可能偶然创建足以破坏人类的破坏性系统。 Ben 还花了一些时间讨论Mesa 优化（AN＃58），这是关于人工智能风险的新论点。他在很大程度上认为，mesa 优化的理由尚未充分充实。他还认为，学习不正确的目标可能是由于系统不够复杂而无法正确表示目标的结果。经过足够的训练，我们实际上可能会收敛到我们想要的系统。 鉴于当前的争论状态，Ben 认为值得 EA 充实有关人工智能风险的新争论，但也认为在人工智能相关主题上没有相对优势的 EAer 不一定要转向人工智能。Ben 认为，我们在人工智能安全和治理上花费的资金比 Alec Baldwin 主演的 2017 年电影《老板宝贝》（Boss Baby）投入更少是一种道德上的愤怒。 Asya 的观点：该播客涵盖了现有论点的令人印象深刻的广度。许多推理类似于我从其他研究人员那里听到的（AN＃94）。我非常高兴 Ben 和其他人花时间批评这些论点。除了向我们展示我们错在哪里，它还帮助我们引导到更合理的人工智能风险场景。 … Continue reading AN #108 为何需要仔细检查人工智能风险的争论
AN #107 目标导向的智能体的收敛工具性子目标
中文版 对齐周报第 107 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 基本的人工智能驱动力 （Stephen M. Omohundro）（由 Rohin 总结）：2008 年的论文介绍了收敛的工具性子目标：除非谨慎避免，否则人工智能系统将“默认”具有这些子目标。对于本文而言，人工智能系统是“具有通过在世界范围内行动而试图实现的目标”的系统，即，它假定系统是目标导向的（AN＃35）。 首先要论证一个足够强大的目标导向的人工智能系统将要自我提升，因为这可以帮助它在（可能很长的）未来更好地实现其目标。特别是，从效用函数由其目标决定的角度出发，它将希望最大化其期望效用，这将使其成为“理性的” 。（这样做的理由是 VNM 定理，以及支持贝叶斯主义和期望效用最大化的各种荷兰赌（Dutch book）论点。） 但是，并非所有修改都对人工智能系统有利。特别是，它将非常希望保留其实用效用函数，因为它决定了将来它将（尝试）完成的工作，并且从当前实用效用函数的角度来看，实用效用函数的任何更改将是一场灾难。同样，它将希望保护自己免受伤害，也就是说，它具有生存动机，因为如果死了就无法实现其目标。 最终的工具性子目标是获取资源并有效地使用资源以实现其目标，因为按照定义，资源几乎可用于多种目标，包括（可能是）人工智能系统的目标。 Rohin 的观点：在本期周报中，我经常提到收敛的工具性子目标，因此似乎我应该对其进行总结。我特别喜欢这篇论文，因为它在 12 年后保存得很好。即使我批评（AN＃44）认为强大的人工智能系统必须是期望效用最大化器的想法，但我仍然发现自己同意本文，因为它假设了目标导向的智能体和那里的原因，而不是试图争论强大的人工智能系统必须以目标为导向。鉴于此假设，我同意此处得出的结论。 技术性人工智能对齐 MESA 优化 内部安全性，外部安全性以及构建安全高级人工智能的建议 （Lucas Perry 和 Evan Hubinger）（由 Rohin 总结）：该播客涵盖了很多主题，特别关注高级机器学习系统中学习到的优化带来的风险（AN＃ 58），以及有关构建安全高级人工智能的11条建议的概述（AN＃102）。 Rohin 的观点：我的摘要很详细，因为在本周报中之前已经强调了许多主题，但是如果你不熟悉它们，那么播客是学习它们的重要资源。 学习人类意图 利用本体感受从视频中模仿学习（Faraz Torabi 等人）（由 Zach 总结）：从观察（IfO）到模仿学习的最新工作使智能体可以从不包含状态和动作信息的视觉演示中执行任务。在本文中，作者对利用本体感受信息，内部状态的知识来创建有效的 IfO 算法感兴趣。与通常仅使用观察向量的 GAIfO 相比，该算法仅允许将图像用于判别，但允许智能体使用内部状态来生成动作。他们在多个 MujoCo 域上测试了他们提出的技术，并表明它优于观察算法的其他模仿技术。 Zach 的观点：我认为很容易忘记观察不一定等同于状态表示。这篇文章很好地提醒了我，在 … Continue reading AN #107 目标导向的智能体的收敛工具性子目标
规格欺骗：人工智能创造力的另一面
作者：维多利亚·克拉科夫娜（Victoria Krakovna），乔纳森·上萨（Jonathan Uesato），弗拉基米尔·米库里克（Vladimir Mikulik），马修·拉赫兹（Matthew Rahtz），汤姆·埃弗里特（Tom Everever），拉玛娜·库玛（Ramana Kumar），扎克·肯顿（Zac Kenton），杨·雷克（Jan Leike），沙恩·莱格（Shane Legg）—— DeepMind 人工智能安全团队 译者：朱小虎（Xiaohu Zhu）—— Center for Safe AGI 创始人 本文交叉发布在 DeepMind 的官方网站上。 规格欺骗是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称，我们都有过规格欺骗的经验。读者可能已经听说过迈达斯国王的神话和点石成金的故事，其中国王要求将他接触的任何东西都变成黄金 —— 但很快就发现，甚至是食物和饮料也变成了他手中的金属。在现实世界中，当学生因在一项家庭作业上的出色表现而获得奖励时，他可能会抄袭另一个学生来获得正确的答案，而不是通过学习材料，从而利用了任务规格中的漏洞。 在人工智能体的设计中也会出现这个问题。例如，强化学习智能体可以找到一条获得大量奖励的捷径，而无需按照人工设计者的意图完成任务。这些行为很常见，到目前为止，我们已经收集了大约 60 个示例（汇总了现有 列表和人工智能社区的持续贡献）。在这篇文章中，我们回顾了规格欺骗的可能原因，分享了在实践中发生这种情况的案例，并争论了关于解决规格问题的原则方法的进一步工作。 让我们来看一个例子。在乐高积木堆叠任务中，理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时，会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部，而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标（红色方块的高底面），而牺牲了设计人员实际关心的内容（将其堆叠在蓝色方块的顶部）。 资料来源：数据有效的深度强化学习，用于敏捷操作（Popov等人，2017年） 我们可以从两个不同的角度考虑规格欺骗。在开发强化学习（RL）算法的范围内，目标是构建学会实现给定目标的智能体。例如，当我们使用 Atari 游戏作为训练强化学习算法的基准任务时，目标是评估我们的算法是否可以解决困难的任务。在这种情况下，智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看，规格欺骗是一个好的信号 —— 智能体已找到一种实现指定目标的新式方法。这些行为说明了算法的独创性和强大能力，它们可以找到确切地执行我们告诉他们的操作的方法。 但是，当我们希望智能体实际去堆叠乐高积木时，相同的创造力可能会带来问题。在构建能够在世界范围内实现预期结果的对齐的智能体的更广泛范围内，规格欺骗是有问题的，因为它涉及智能体以牺牲预期结果为代价来利用规格中的漏洞。这些行为是由于预期任务的规格不正确而不是强化学习算法中的任何缺陷引起的。除了算法设计之外，构建对齐智能体的另一个必要组件是奖励设计。 准确地反映人类设计者意图的设计任务规格（奖励功能，环境等）往往很困难。甚至对一个存在轻微的错误规格指定，一个非常好的RL算法也许能够找到与预期解决方案完全不同的复杂解决方案，即使一个更差的算法无法找到该解决方案，但得出的结果反而更接近于预期的解决方案。这意味着，随着强化学习算法的改进，正确指定意图对于实现所需结果变得更加重要。因此，至关重要的是，研究人员正确指定任务的能力必须与智能体寻找新颖解决方案的能力保持一致。 我们在广义上使用术语任务规格来涵盖智能体开发过程的许多方面。在强化学习设置中，任务规格不仅包括奖励设计，还包括训练环境和辅助奖励的选择。任务说明的正确性可以确定智能体的创造力是否符合预期结果。如果规格正确，智能体的创造力将产生理想的新颖解决方案。这就是 AlphaGo 走出著名的第 37 步的原因，这使人类围棋专家感到惊讶，但这在与李世石的第二场比赛中至关重要。如果规格错误，则可能会产生不良的博弈行为，例如翻转方块。这些类型的解决方案取决于一个范围，我们还没有一个客观的方式来区分它们。 现在，我们将考虑规格欺骗的可能原因。奖赏功能失准的一种根源是设计不当的奖赏塑造。奖励塑形通过在解决任务的方式上给予智能体一些奖励，而不是仅仅奖励最终结果，使学习一些目标变得更加容易。但是，如果奖励不是基于潜力的，则可以改变最优策略。考虑一个在海岸奔跑者游戏中控制船只的智能体，该游戏的预期目标是尽快完成比赛。智能体因在赛道上击中绿色方块而获得了成形奖励，这将最佳策略更改为绕行并一遍又一遍击中相同的绿色方块。 资料来源：荒谬的奖励功能（Amodei＆Clark，2016年） 指定能够准确捕获所需最终结果的奖励本身可能是一项挑战。在乐高积木堆叠任务中，仅指定红色块的底面必须高出地面是不够的，因为智能体可以简单地翻转红色块来实现此目标。对所需结果的更全面说明还包括：红色块的顶面必须在底面之上，并且底面必须与蓝色块的顶面对齐。在指定结果时，很容易错过这些标准之一，从而使规格变得过于宽泛，并且可能更容易满足于一个退化的解决方案。 与其尝试创建涵盖所有可能的极端情况的规格，不如从人类反馈中学习奖励函数。评估结果是否已实现通常比明确指定结果要容易得多。但是，如果奖励模型没有学习到反映设计者偏好的真实奖励函数，则此方法也会遇到规格欺骗问题。错误的一种可能来源可能是用于训练奖励模型的人为反馈。例如，执行抓取任务的智能体通过在相机和对象之间悬停而学会了愚弄人类评估者。 资料来源：《人类偏好的深度强化学习》（Christiano等，2017） 由于其他原因，例如泛化不佳，学习的奖励模型也可能被错误指定。可以使用其他反馈来更正智能体尝试利用奖励模型中的不准确性的尝试。 另一类规格欺骗示例来自利用模拟器错误的智能体。例如，一个本应学会走路的模拟机器人想出了如何将双腿钩在一起并沿着地面滑动的方法。 资料来源：AI学步（Code Bullet，2019） 乍一看，这些示例可能看起来很有趣，但没那么有趣，并且与在没有模拟器错误的现实世界中部署智能体无关。但是，根本问题不是错误本身，而是智能体可以利用的抽象失败。在上面的示例中，由于对模拟器物理的错误假设，错误地指定了机器人的任务。类似地，通过错误地假设交通流量路由基础结构不具有足够聪明的智能体可以发现的软件错误或安全漏洞，可能会错误地指定现实世界的流量优化任务。无需明确地做出这样的假设 —— 更有可能的是，它们只是设计者从未想到的细节。而且，由于任务变得过于复杂而无法考虑每个细节，规格设计期间的错误假设。这就提出了一个问题：是否有可能设计能够纠正这种错误假设而不是进行假冒的智能体架构？ 任务规格中通常做出的一种假设是，任务规格不会受到智能体的动作的影响。对于在沙盒模拟器中运行的智能体，这是正确的，但对于在现实世界中运行的智能体，则不是这样。任何任务说明都具有物理表现：存储在计算机上的奖励功能或存储在人脑中的偏好。部署在现实世界中的智能体程序可能会操纵目标的这些表示，从而产生奖励篡改问题。对于我们假设的流量优化系统，在满足用户的偏好（例如，通过给出有用的指示）与影响用户之间并没有明显的区别。（例如，通过轻推它们以选择更容易达到的目的地）。前者满足了目标，而后者则操纵了目标在世界上的表示（用户偏好），两者都为人工智能系统带来了丰厚的回报。再举一个极端的例子，一个非常先进的人工智能系统可以劫持运行它的计算机，并手动将其奖励信号设置为较高的值。 综上所述，解决规格欺骗至少要克服三个挑战： … Continue reading 规格欺骗：人工智能创造力的另一面
AGI Watchful Guardians 