中文版 对齐周报第 105 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 建模人类轨迹 （David Roodman）（由 Nicholas 总结）：这篇文章分析了从公元前 10,000 年到现在的人类轨迹，并考虑了其对未来的影响。用于此的度量标准是世界生产总值（GWP），即一年中世界上生产的商品和服务的总和。 我们可以从这段很长的历史过程的世界生产总值中得出一些有趣的结论。首先，直到 1800 年，大多数人都生活在基本生活水平附近。这意味着全球升温潜能值的增长主要由人口增长驱动。从那时起，人口增长放缓，人均 GWP 增加，导致我们今天的生活质量大大提高。其次，指数函数根本无法很好地拟合数据。在指数函数中，GWP 翻倍的时间将是恒定的。取而代之的是，世界生产总值似乎快了一倍，这更符合幂律关系。但是，推断这种关系向前发展的结论是，经济增长非常快，随着 2047 年临近，世界生产总值接近无限。 接下来，Roodman 创建一个随机模型，以便不仅分析模态预测，还获得关于特定结果可能性的完整分布。通过仅对过去的数据进行拟合，他分析了全球升温潜能值每个时期的惊人程度。结果发现，工业革命及其后的时期超过了模型分布的 90％，这与令人惊讶的快速经济增长相对应。类似地，在过去 30 年中，增长异常反常，下降了 25 个百分点。这表明该模型的随机性不能适当地反映现实世界 —— 虽然一个好的模型肯定可以在一个时期内被高增长或低增长所“惊讶”，但可能不应该像在这里那样始终朝着同一方向感到惊讶。 除了凭经验查看数据外，他还提供了一个理论模型，说明如何通过归纳标准经济模型来实现这种加速增长。通常，经济模型假定技术是固定的投入或具有固定的增长率，并且不允许将生产再投资于技术改进。一旦将再投资纳入模型，经济增长率便会像历史数据一样加速。 Nicholas 的观点：我发现这篇论文非常有趣，并对结果感到惊讶。也就是说，我对应该从中得出什么结论感到困惑。幂律趋势似乎确实非常适合历史数据，但是过去的 70 年非常适合指数趋势。对于我来说，哪一个与预测未来有关（如果有的话）。 提出的理论模型对我来说更有意义。如果技术负责增长率，那么将生产再投资于技术将导致增长率更快。我很想知道有关将 GWP 的哪一部分重新投资于改进技术以及如何与其他趋势保持一致的数据。 Rohin 的观点：我喜欢这篇文章；它使我对带有噪声的双曲模型的外观有一种内在的感觉（有关此信息，请参阅博客文章，摘要未提到它）。总的来说，我认为我的收获是，尽管最初听起来很疯狂，但用于人工智能爆炸性增长风险的图片实际上是合理的。当然，它实际上并不会发散到无穷大 —— 我们最终将达到某种增长极限，即使是“指数”增长也是如此 —— 但是这个极限可能远远超过我们迄今为止所达到的极限。另请参阅此相关文章。 优化的基础 （Alex Flint）（由 Rohin 总结）：关于人工智能风险的许多争论都取决于“优化”的概念，但是到目前为止，它还没有一个很好的定义。一种自然的方法是说，优化器根据一些合理的效用函数使世界具有更高的值，但这似乎不足，因为瓶盖将成为用于将水保持在瓶中的优化器（AN＃22）。 这篇文章提供了优化的新定义，方法是从嵌入式代理（AN＃31）中提取一页内容并分析整个系统，而不是将代理和环境分开。一个优化系统是从任何地方开始时在一些较大的一组配置（称为吸引盆）即使系统被扰动的一个趋向于朝向的一些专门配置（称为演进目标配置集）。 例如，在梯度下降中，我们从对参数 θ … Continue reading AN #105 人类的经济轨迹和优化可能的“真正”含义
Comments|Quantifying Differences in Reward Functions
本文工作的原始动因： 对很多任务，奖励函数太复杂以至于难以过程化指定，并且必须从用户数据中学到。以往工作已经通过检查从一个针对学到的奖励优化的策略产生的展开评价了奖励函数。 问题之所在： 这个方法不能区分学到的无法反应用户偏好奖励函数和无法优化学到的奖励的强化学习算法。而且，展开方法对用来评价学到奖励的环境细节极其敏感，这常常在部署环境中有差异。 解决思路： 引入了等价策略不变量比对（Equivalent-Policy Invariant Comparison，EPIC）距离来直接量化不同奖励函数的差距，而不需要训练一个策略。 结果总结： 证明了 EPIC 在一个总是规约到同样的最优策略的奖励函数的等价类上是不变的发现 EPIC 可以被准确地近似并且访问分布的选择比基线更为健壮发现学到的奖励函数到真实奖励 EPIC 距离对预测训练一个策略对成功有效，甚至在不同的转换动力系统中。 文章链接：https://arxiv.org/abs/2006.13900
Logician|Boris Trakhtenbrot
I read several articles about mathematical logic these days. Finally, I just found some work done by Boris. Record the intro here. Boris (Boaz) Avraamovich Trakhtenbrot (Russian: Борис Авраамович Трахтенброт; 19 February 1921 – 19 September 2016), or Boaz (Boris) Trakhtenbrot (Hebrew: בועז טרכטנברוט) was an Israeli and Russian mathematician in mathematical logic, algorithms, theory of computation, and cybernetics. Trakhtenbrot was born in Brichevo, northern Bessarabia.[1][2] He worked at Akademgorodok, Novosibirsk during … Continue reading Logician|Boris Trakhtenbrot
第 98 期对齐周报 通过查看哪些梯度有用来了解神经网络训练
对齐周报第 98 期 对齐周报是每周出版物，其中包含与全球人工智能对齐有关的最新内容。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 强调 LCA：用于神经网络训练的损失变化分配 （Janice Lan等人）（由 Robert 总结）：本文介绍了损失变化分配（LCA）方法。该方法的目的是深入了解和理解深度神经网络的训练过程。该方法计算每次训练迭代中每个参数之间（在整个训练集上）总损失变化的分配，将其迭代优化，直到近似误差总体上小于 1％。损失变化分配可以是正数，也可以是负数；如果为负，则表示该参数在该迭代过程中对训练有帮助；如果为负，则该参数会损害训练。假定此测量是按参数和按迭代进行的，则可以将其汇总为按层 LCA，或对参数和训练迭代进行任何其他汇总。 作者使用该方法获得了对几种小型神经网络（在 MNIST 和 CIFAR-10 上进行训练）的训练过程的许多见解。 首先，他们验证学习非常嘈杂，平均每次迭代只有一半参数会有所帮助。该分布比正态分布重尾，并且相当对称。但是，参数倾向于在帮助和伤害之间交替，并且每个参数仅倾向于在大约 50％ 的时间内帮助。 其次，他们查看了 LCA 汇总的每层，对整个训练过程进行了汇总，并显示出在 CIFAR ResNet模型中第一层和最后一层对总体造成了损害（即 LCA 为正）。为了纠正这种情况并理解原因，作者尝试冻结这些层，或降低其学习率。第一层无法固定（冻结使它的 LCA 为 0，但第二层的 LCA 依次增加，因此最终总损失保持不变）。但是，对于最后一层，冻结或降低学习率会提高网络的整体性能，因为最后一层的 LCA 减少的幅度大于其他所有层的 LCA 的增加幅度。他们还假设通过减少最后一层的动力，他们可以为它提供更新鲜的信息，并使其更有可能学习。他们发现这确实有效，尽管在这种设置下，先前各层的 LCA 会增加以补偿，从而使总体性能保持不变。 最后，作者表明学习似乎跨层同步；在相同的训练迭代中，各层以统计上有意义的方式获得本地 LCA 最小值。他们表明这必须是参数运动和梯度的组合，因为它们自己都不能解释这种现象。 Robert 的观点： 我真的很喜欢这篇论文。该方法简单（尽管计算量很大），并提供了新颖的见解。我认为了解深度学习训练的工作原理很重要，因为它可以帮助我们设计更好的训练过程，不仅是为了获得更好的表现，而且还希望我们希望训练过程能够激发出其他特性。我认为，通过这种方法，可以使它更有效率，然后将其应用于除视觉以外的其他领域的大型模型，因此还有很多工作要做。我也很想知道这是否可以用来了解训练集的哪些部分对训练有帮助和伤害；例如，查看在该训练迭代中，同步学习的点与迷你批处理中的数据点之间是否存在任何关联。注意：我推荐阅读此文（包含附录）来观察作者用来展示其论断的图和可视化，因为这比文字描述更加容易理解。 Rohin 的观点： 我也非常喜欢这篇论文，它具有关于神经网络如何工作的大量经验证据。我倾向于对结果进行一些不同的分析。特别是，假设在计算 LCA 时，我们进行了以下更改： 我们将损失用于训练批量数据而不是完整的训练集。我们没有改善近似误差（即，我们只是使用训练过程中计算出的梯度的点估计）。我们使用随机梯度下降（SGD）进行了训练（与 Adam 或 Momentum-SGD 相对）。 … Continue reading 第 98 期对齐周报 通过查看哪些梯度有用来了解神经网络训练
第 99 期对齐周报 算法效率的增倍时间
Alignment Newsletter 是每周出版的出版物，其最新内容与全球AI对准有关。在此处 找到所有Alignment Newsletter 资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的音频版本（可能尚未启用）。 强调 人工智能和效率 （Danny Hernandez 等人）（由Flo总结）：考虑到指数增长（AN＃7）在用于机器学习的最新结果的计算中，人们可能会认为算法的进步很小。本文为反对该假设提供了有力的证据。通过跟踪实现特定性能基准所需的计算量，我们可以大致衡量算法的进度。这样做会使 ImageNet 的效率提高大约 16 个月（相当于相同性能只需要初始计算的一半的时间）的两倍（比摩尔定律更快）。诸如翻译以及下围棋和玩 Dota 2 之类的其他任务在短时间内显示出更快的翻倍时间。与提高解决已可行任务的效率相比，使任务首次可行可以说在算法上有更多进步，实际进度可能比这些数字所暗示的还要快。但是，数据点的数量非常有限，目前尚不清楚这些趋势是否会持续以及它们是否会推广到其他领域。仍然，作者推测对于获得大量投资并且在性能上获得实质性收益的任务，可以观察到类似的趋势。 将这些结果与随时间增加的可用计算相结合，作者估计，相对于2012年，可用于大型AI实验的有效训练计算资源在 2018 年增加了 750万倍（！）。 专注于效率而不是顶级性能，可让计算量有限的参与者做出贡献。此外，迅速达到特定基准的模型似乎是扩大规模的强大候选者。这样，更有效的算法可以充当进一步发展的催化剂。有一个公共git存储库，可以更好地跟踪算法效率。 > Flo的观点： 尽管以我确实不会将其标记为算法进步的方式（例如，通过使研究人员尝试更多不同的超参数），确实可以提高计算效率，但聚合总数似乎令人惊讶地高。这表明我要么没有正确地了解这些天AI能够解决哪些问题，要么低估了解决这些问题的难度。观察深度强化学习的样本效率是否有类似的改进将是非常有趣的，因为我希望在缺乏用于现实世界决策的精确模拟器的情况下，这将成为代理型人工智能应用的主要瓶颈。 技术性人工智能对齐 健壮性 BERT 真的很健壮吗？自然语言攻击文本分类和蕴含的强大基准 （Di Jin，Zhijing Jin 等）（由 Asya 总结）：本文介绍了 TextFooler，这是一种仅通过黑盒访问模型即可为自然语言任务生成对抗性文本的算法。TextFooler 尝试生成与原始输入句子在语法和语义上相似但产生错误标签的句子。它通过识别原始句子中的一小部分最重要的单词，为这些单词生成候选同义词，然后通过测试哪些同义词导致模型错误预测或报告最低置信度得分，来逐步替换句子中的重要单词。 TextFooler 已在三种最新的 NLP 模型（WordCNN，WordLSTM 和 BERT）上进行了测试，所有模型都经过训练，其测试精度约为 80-90％。在各种文本分类数据集上，TextFooler 会将准确率降低到〜15％以下，只有不到 20％ 的单词受到干扰。评估生成的句子的人说，它们在语法上与原始句子大致相同，在大约 90％ 的情况下与原始句子具有相同的标签，并且与原始句子的相似度得分（以 0 到 1 表示）为 0.9。本文发现，通常，具有较高原始精度的模型具有较高的攻击后准确性。 作者使用 TextFooler 生成的数据从头开始重新训练 … Continue reading 第 99 期对齐周报 算法效率的增倍时间
近似KL散度
作者：John Schulman（OpenAI） 译者：Xiaohu Zhu（CSAGI） 原文链接：http://joschu.net/blog/kl-approx.html 本文讨论 KL 散度的 Monte-Carlo 近似： $latex \text{KL}[q,p] = \sum_{x}q(x)\log \frac{q(x)}{p(x)} = E_{x\sim q}[\log \frac{q(x)}{p(x)}]$ 这解释了之前使用了一个技巧，针对来自 $latex q$ 中的样本 $latex x$ 以 $latex \frac{1}{2}(\log p(x)-\log q(x))^2$ 样本平均来近似 $latex \text{KL}[q,p]$，而不是更加标准的 $latex \log \frac{q(x)}{p(x)}$. 本文谈谈为何该表达是一个 KL 散度的好的估计（尽管有偏 biased），以及如何让其变得无偏（unbiased）保证其低方差。 我们计算 KL 的选择取决于对 $latex p$ 和 $latex q$ 的访问方式。这里，我们假设能够对任意 $latex x$ 计算概率（或者概率密度）$latex p(x)$ 和 $latex … Continue reading 近似KL散度
规格欺骗：人工智能创造力的另一面
作者：维多利亚·克拉科夫娜（Victoria Krakovna），乔纳森·上萨（Jonathan Uesato），弗拉基米尔·米库里克（Vladimir Mikulik），马修·拉赫兹（Matthew Rahtz），汤姆·埃弗里特（Tom Everever），拉玛娜·库玛（Ramana Kumar），扎克·肯顿（Zac Kenton），杨·雷克（Jan Leike），沙恩·莱格（Shane Legg）—— DeepMind 人工智能安全团队 译者：朱小虎（Xiaohu Zhu）—— Center for Safe AGI 创始人 本文交叉发布在 DeepMind 的官方网站上。 规格欺骗是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称，我们都有过规格欺骗的经验。读者可能已经听说过迈达斯国王的神话和点石成金的故事，其中国王要求将他接触的任何东西都变成黄金 —— 但很快就发现，甚至是食物和饮料也变成了他手中的金属。在现实世界中，当学生因在一项家庭作业上的出色表现而获得奖励时，他可能会抄袭另一个学生来获得正确的答案，而不是通过学习材料，从而利用了任务规格中的漏洞。 在人工智能体的设计中也会出现这个问题。例如，强化学习智能体可以找到一条获得大量奖励的捷径，而无需按照人工设计者的意图完成任务。这些行为很常见，到目前为止，我们已经收集了大约 60 个示例（汇总了现有 列表和人工智能社区的持续贡献）。在这篇文章中，我们回顾了规格欺骗的可能原因，分享了在实践中发生这种情况的案例，并争论了关于解决规格问题的原则方法的进一步工作。 让我们来看一个例子。在乐高积木堆叠任务中，理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时，会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部，而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标（红色方块的高底面），而牺牲了设计人员实际关心的内容（将其堆叠在蓝色方块的顶部）。 资料来源：数据有效的深度强化学习，用于敏捷操作（Popov等人，2017年） 我们可以从两个不同的角度考虑规格欺骗。在开发强化学习（RL）算法的范围内，目标是构建学会实现给定目标的智能体。例如，当我们使用 Atari 游戏作为训练强化学习算法的基准任务时，目标是评估我们的算法是否可以解决困难的任务。在这种情况下，智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看，规格欺骗是一个好的信号 —— 智能体已找到一种实现指定目标的新式方法。这些行为说明了算法的独创性和强大能力，它们可以找到确切地执行我们告诉他们的操作的方法。 但是，当我们希望智能体实际去堆叠乐高积木时，相同的创造力可能会带来问题。在构建能够在世界范围内实现预期结果的对齐的智能体的更广泛范围内，规格欺骗是有问题的，因为它涉及智能体以牺牲预期结果为代价来利用规格中的漏洞。这些行为是由于预期任务的规格不正确而不是强化学习算法中的任何缺陷引起的。除了算法设计之外，构建对齐智能体的另一个必要组件是奖励设计。 准确地反映人类设计者意图的设计任务规格（奖励功能，环境等）往往很困难。甚至对一个存在轻微的错误规格指定，一个非常好的RL算法也许能够找到与预期解决方案完全不同的复杂解决方案，即使一个更差的算法无法找到该解决方案，但得出的结果反而更接近于预期的解决方案。这意味着，随着强化学习算法的改进，正确指定意图对于实现所需结果变得更加重要。因此，至关重要的是，研究人员正确指定任务的能力必须与智能体寻找新颖解决方案的能力保持一致。 我们在广义上使用术语任务规格来涵盖智能体开发过程的许多方面。在强化学习设置中，任务规格不仅包括奖励设计，还包括训练环境和辅助奖励的选择。任务说明的正确性可以确定智能体的创造力是否符合预期结果。如果规格正确，智能体的创造力将产生理想的新颖解决方案。这就是 AlphaGo 走出著名的第 37 步的原因，这使人类围棋专家感到惊讶，但这在与李世石的第二场比赛中至关重要。如果规格错误，则可能会产生不良的博弈行为，例如翻转方块。这些类型的解决方案取决于一个范围，我们还没有一个客观的方式来区分它们。 现在，我们将考虑规格欺骗的可能原因。奖赏功能失准的一种根源是设计不当的奖赏塑造。奖励塑形通过在解决任务的方式上给予智能体一些奖励，而不是仅仅奖励最终结果，使学习一些目标变得更加容易。但是，如果奖励不是基于潜力的，则可以改变最优策略。考虑一个在海岸奔跑者游戏中控制船只的智能体，该游戏的预期目标是尽快完成比赛。智能体因在赛道上击中绿色方块而获得了成形奖励，这将最佳策略更改为绕行并一遍又一遍击中相同的绿色方块。 资料来源：荒谬的奖励功能（Amodei＆Clark，2016年） 指定能够准确捕获所需最终结果的奖励本身可能是一项挑战。在乐高积木堆叠任务中，仅指定红色块的底面必须高出地面是不够的，因为智能体可以简单地翻转红色块来实现此目标。对所需结果的更全面说明还包括：红色块的顶面必须在底面之上，并且底面必须与蓝色块的顶面对齐。在指定结果时，很容易错过这些标准之一，从而使规格变得过于宽泛，并且可能更容易满足于一个退化的解决方案。 与其尝试创建涵盖所有可能的极端情况的规格，不如从人类反馈中学习奖励函数。评估结果是否已实现通常比明确指定结果要容易得多。但是，如果奖励模型没有学习到反映设计者偏好的真实奖励函数，则此方法也会遇到规格欺骗问题。错误的一种可能来源可能是用于训练奖励模型的人为反馈。例如，执行抓取任务的智能体通过在相机和对象之间悬停而学会了愚弄人类评估者。 资料来源：《人类偏好的深度强化学习》（Christiano等，2017） 由于其他原因，例如泛化不佳，学习的奖励模型也可能被错误指定。可以使用其他反馈来更正智能体尝试利用奖励模型中的不准确性的尝试。 另一类规格欺骗示例来自利用模拟器错误的智能体。例如，一个本应学会走路的模拟机器人想出了如何将双腿钩在一起并沿着地面滑动的方法。 资料来源：AI学步（Code Bullet，2019） 乍一看，这些示例可能看起来很有趣，但没那么有趣，并且与在没有模拟器错误的现实世界中部署智能体无关。但是，根本问题不是错误本身，而是智能体可以利用的抽象失败。在上面的示例中，由于对模拟器物理的错误假设，错误地指定了机器人的任务。类似地，通过错误地假设交通流量路由基础结构不具有足够聪明的智能体可以发现的软件错误或安全漏洞，可能会错误地指定现实世界的流量优化任务。无需明确地做出这样的假设 —— 更有可能的是，它们只是设计者从未想到的细节。而且，由于任务变得过于复杂而无法考虑每个细节，规格设计期间的错误假设。这就提出了一个问题：是否有可能设计能够纠正这种错误假设而不是进行假冒的智能体架构？ 任务规格中通常做出的一种假设是，任务规格不会受到智能体的动作的影响。对于在沙盒模拟器中运行的智能体，这是正确的，但对于在现实世界中运行的智能体，则不是这样。任何任务说明都具有物理表现：存储在计算机上的奖励功能或存储在人脑中的偏好。部署在现实世界中的智能体程序可能会操纵目标的这些表示，从而产生奖励篡改问题。对于我们假设的流量优化系统，在满足用户的偏好（例如，通过给出有用的指示）与影响用户之间并没有明显的区别。（例如，通过轻推它们以选择更容易达到的目的地）。前者满足了目标，而后者则操纵了目标在世界上的表示（用户偏好），两者都为人工智能系统带来了丰厚的回报。再举一个极端的例子，一个非常先进的人工智能系统可以劫持运行它的计算机，并手动将其奖励信号设置为较高的值。 综上所述，解决规格欺骗至少要克服三个挑战： … Continue reading 规格欺骗：人工智能创造力的另一面
新研究工作简介：塑造行为的动机
从长远来看，我们的愿望是，当研究人员预期可能存在的安全性或公平性问题时，他们会使用此理论对其人工智能系统进行动机分析。在应用我们的图标准来自动识别存在哪些动机之前，通常需要绘制一个因果图来说明各种智能体的程序组件如何组合在一起，并就应该存在（或不存在）哪些动机做出判断。在非常乐观的情况下，动机分析将成为建立人工智能系统可信赖性的标准工具，类似于使用统计方法描述人工智能性能的方法。但是从短期来看，我们需要进行一些研究工作来使这些方法更为有用，因此也很乐意在大家需要的地方提供建议。
AN #75 用学到的游戏模型解决 Atari 和围棋问题以及一位 MIRI 成员的想法
到目前为止，免模型强化学习方法在 Atari 等视觉丰富的领域一直是最新技术，基于模型的强化学习对于需要提前规划许多步骤的游戏（例如围棋，国际象棋和将棋）都非常出色。本文使用基于模型的方法 MuZero 在 Atari 上获得了最先进的性能，同时在围棋、国际象棋和将棋上达到了 AlphaZero （AN＃36）水平，同时使用了较少的计算量。重要的是，它不需要任何游戏规则方面的知识就可以做到这一点。
AN #74 将向善的人工智能分解为能力、对齐和应对影响
第三，分类与我们开发的人工智能系统的细节相对不可知 —— 这些仅显示在第 4 级中，其中 Paul 指出他主要考虑的是学习方式的对齐，而不是规划和演绎。如果考虑其他类型的人工智能系统，我尚不清楚分解的高的层面在多大程度上有意义：如果我认为分解不如强大的演绎算法带来的风险那么好，我不会感到惊讶这将取决于演绎算法如何变得如此强大的细节。看到更多的工作提出了更强大的通用人工智能系统的更具体的模型，并对这些模型中的风险进行推理，我会感到特别兴奋，就像《学习型优化的风险》 （AN＃58）中所做的那样。
AGI Watchful Guardians 