本AN包括一些研究人员和政策制定者们对人工智能的国际协调的思考。
AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验？
在此处查找所有Alignment Newsletter资源。特别是，您可以注册或查看此电子表格中所有摘要中的摘要。 强调 HARK 深度学习的一面 —— 从“研究生下降法”到自动机器学习 （Oguzhan Gencoglu等）：本文重点研究结果已知后的假设的负面影响（HARKing），这是研究人员 首次进行实验和观察的模式结果，一旦他们达到了可发布的标准，就会在事后解释结果后构建一个假设。它认为 HARKing 在机器学习中很常见，并且这对整个领域产生了负面影响。首先，对当前最好结果（SotA）的改进可能是有问题的，因为它们可能是由于通过“研究生下降法”的足够的超参数调整引起的，而不是在获得归因的论文中的新想法。其次，由于在会议中仅报告了积极的结果，因此存在发表偏差，这使我们无法从反面结果中学习。第三，为适合单个数据集或任务的结果而特意定制的假设不太可能推广到新的数据集或任务。第四，虽然 AutoML 系统取得了良好的效果，但我们无法弄清楚是什么让它们起作用，因为高计算要求使得消融研究更难以实现。最后，他们论述了我们需要解决 HARKing 以实现道德 AI，以人为中心的 AI，可复现的 AI 等。 Rohin 的观点：我相信在 我开始考虑这个问题之后，我第一次找到这篇 通用的有趣新论文 时发现了这篇论文，这非常巧合。我真的很高兴作者写了这篇论文 —— 这不是他们的动机（据我所知），不过该话题似乎非常重要。 也就是说，我在一些方面不同意里面的观点。作者不承认 HARKing 的价值 —— 经常进行许多实验并看看为了发展一个好的理论会发生什么是有用的。人类不是理想的贝叶斯反叛者，他们可以同时考虑所有假设; 为了甚至假设一个理论，我们通常需要很多观察。作者指出，在其他领域，HARKing 导致不良结果，但 ML 明显不同，因为 我们可以以更高的迭代速度更快地运行实验。 如果我们被迫预先注册研究，正如作者所建议的那样，迭代速度会下降一个数量级或两个数量级 ; 我严重怀疑这些好处将超过较低迭代速度的成本。研究人员可以运行实验并观察结果，制定理论，然后预先注册一个可以测试理论的实验，而不是预先注册所有实验，但在这种情况下，我希望研究人员最终“预先注册”非常相似的实验对产生该理论的实验进行了研究，结果很可能得出结论来支持该理论。 （这不需要研究人员的任何积极的恶意 —— 在你开发理论的领域中思考理论的预测是很自然的。例如，在 我们最近的论文 （AN＃45）中，我们明确地设计了四个环境，我们期望我们的方法工作，一个不希望。） 另一点：我认为 HARKing 的根本原因是对 SotA 进行追逐的动机，如果我写这篇论文，我会关注这一点。例如，我认为对 SotA 追逐的偏见导致了 HARKing，而不是相反。（我不确定作者是否相信;论文在这一点上并不十分清楚。）这也是对“研究生下降法”或超参数调整引起的结果的更直接的解释; 这些论文中的 HARKing … Continue reading AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验？
TCS list
PapeRman #7
HOList: An Environment for Machine Learning of Higher-Order Theorem Proving link: https://arxiv.org/pdf/1904.03241.pdf Abstract We present an environment, benchmark, and deep learning driven automated theorem prover for higher-order logic. Higher-order interactive theorem provers enable the formalization of arbitrary mathematical theories and thereby present an interesting, open-ended challenge for deep learning. We provide an open-source framework based … Continue reading PapeRman #7
无监督学习：好奇的学生
https://deepmind.com/blog/unsupervised-learning/Authors: Alexander Graves, Research Scientist, DeepMind; Kelly ClancyTranslator: Xiaohu Zhu, University AI 在过去十年中，机器学习在图像识别、自动驾驶汽车和围棋等复杂游戏等多个领域中取得了前所未有的进步。这些成功在很大程度上是通过使用两种学习范式 —— 监督学习和强化学习中的一种来训练深度神经网络而实现的。两种范式都要求训练信号由人设计并赋予计算机。在监督学习的情况下，这些是“目标”（例如图像的正确标签）; 在强化学习的情况下，它们是成功行为的“奖励”（例如在Atari游戏中获得高分）。因此，学习的限制是由人类训练者定义的。 虽然一些科学家认为，足够包容的训练范围 —— 例如，完成各种各样任务的能力 —— 应该足以产生通用智能，但其他人认为真正的智能需要更多独立的学习策略。例如，考虑一个小孩如何学习。她的祖母可能会和她坐在一起，耐心地指出鸭子的例子（作为监督学习中的指导信号），或者用掌声来奖励她解决木版拼图（如强化学习）。但是，幼儿在绝大多数时间里都是天真地探索世界，通过好奇心，游戏和观察来理解她的周围环境。无监督学习是一种范式，旨在通过奖励智能体创建自主智能（即，计算机程序）用于了解他们在没有特定任务的情况下观察到的数据。换句话说，智能体为了学习而学习。 无监督学习的一个关键动机是，虽然传递给学习算法的数据在内部结构（例如，图像、视频和文本）中非常丰富，但用于训练的目标和奖励通常非常稀疏（例如，标签'狗'指的是特别的变形物种，或者用１或０来表示游戏中的成功或失败）。这表明算法学到的大部分内容必须包括理解数据本身，而不是将这种理解应用于特定任务。 解码视觉元素 2012 年是深度学习的里程碑，当 AlexNet（以其首席架构师 Alex Krizhnevsky 命名）席卷了 ImageNet分类竞赛。AlexNet 识别图像的能力是前所未有的，但更引人注目的是背后发生的事情。当研究人员分析 AlexNet 正在做什么时，他们发现它通过构建其输入的日益复杂的内部表示来解释图像。低层特征（例如纹理和边缘）在底层中表示，然后将它们组合在一起形成高级概念，例如更高层中的轮子和狗。 这与在我们的大脑中处理信息的方式非常相似，其中初级感官处理区域中的简单边缘和纹理被组装成复杂对象，例如更高区域中的面部。因此，复杂场景的表示可以由视觉原语构建，其方式与构成句子的单个词出现的意义大致相同。如果没有明确的指导，AlexNet 的层已经发现了一个基本的“视觉词汇”，以解决其任务。从某种意义上说，它已经学会了扮演维特根斯坦所谓的“语言游戏”，它可以迭代地从像素转换为标签。 卷积神经网络的视觉词汇。对于网络的每一层，生成最大程度地激活特定神经元的图像。然后，这些神经元对其他图像的响应可以被解释为不存在视觉“单词”：纹理，书架，狗鼻子，鸟类。From Feature Visualization, Olah et al. (2017). 迁移学习 从一般情报的角度来看，关于 AlexNet 词汇的最有趣的事情是它可以被重用或转移到除了训练之外的视觉任务，例如识别整个场景而不是单个对象。迁移在不断变化的世界中是必不可少的，人类擅长于此：我们能够迅速调整我们从我们的经验（我们的“世界模式”）中收集的技能和理解，以及任何手头的情况。例如，经过专业训练的钢琴家可以相对轻松地弹起爵士钢琴。理论上，构成世界正确内部表征的人工智能体应该能够做同样的事情。 尽管如此，AlexNet 等分类器所学到的表示具有局限性。特别是，由于网络只用单一类别（猫，狗，汽车，火山）标记图像训练，所以不需要推断标签的任何信息 —— 无论它对其他任务有多大用处 —— 都可能是忽略。例如，如果标签总是指向前景，则表示可能无法捕获图像的背景。一种可能的解决方案是提供更全面的训练信号，例如描述图像的详细标题：不只是“狗”，而是“柯基犬在阳光明媚的公园里捕捉飞盘。”然而，这些目标很难提供，特别是在大规模情况下，并且仍然可能不足以捕获完成任务所需的所有信息。无监督学习的基本前提是学习丰富，可广泛迁移的表示的最佳方式是尝试学习可以学习的关于数据的所有内容。 如果通过表示学习迁移的概念看起来过于抽象，那么请考虑一个学会吸引人们作为简笔画的孩子。她发现了人体形态的高度紧凑和快速适应性。通过增加每个棒图的具体细节，她可以为她的所有同学创作肖像：她最好的朋友的眼镜，她最喜欢的红色T恤的同桌。而且她发展这项技能不是为了完成一项特定任务或获得奖励，而是为了回应她反映她周围世界的基本要求。 通过创造学习：生成模型 也许无监督学习的最简单目标是训练算法以生成其自己的数据实例。所谓的生成模型不应该简单地再现他们所训练的数据（一种无趣的记忆行为），而是建立一个从中抽取数据的基础类的模型：不是特定的马或彩虹照片，但是马和彩虹的所有照片集; … Continue reading 无监督学习：好奇的学生
AGI reading list
Augmented Utilitarianism for AGI Safety
导向健壮和经验证的人工智能：规格测试，健壮训练和形式验证
By Pushmeet Kohli, Krishnamurthy (Dj) Dvijotham, Jonathan Uesato, Sven Gowal, and the Robust & Verified Deep Learning group. This article is cross-posted from DeepMind.com.Translated by Xiaohu Zhu, University AI Bugs 和软件自从计算机程序设计的开始就是形影相随的。经过一段时间后，软件开发者们已经建立了一个最佳的在部署之前测试和调试的实践集，但是这些实践对现代深度学习系统并不太适用。今天，在机器学习领域的广泛实践是在一个训练数据集上训练系统，然后在另一个集合上进行测试。虽然这揭示了模型的平均情况性能，但即使在最坏的情况下，确保健壮性或可接受的高性能也是至关重要的。在本文中，我们描述了三种严格识别和消除学习到的预测模型中错误的方法：对抗性测试，健壮学习和形式验证。 机器学习系统默认不太健壮。即使在特定领域中表现优于人类的系统，如果引入微妙差异，也可能无法解决简单问题。例如，考虑图像扰动的问题：如果在输入图像中添加少量精心计算的噪声，那么比人类更好地对图像进行分类的神经网络会轻易地误以为树懒是赛车。 覆盖在典型图像上的对抗性输入可能导致分类器将树懒错误地分类为赛车。两个图像在每个对应像素中相差至多 0.0078。第一种被归类为三趾树懒，置信度> 99％。第二个被归类为概率> 99％的赛车。 这不是一个全新的问题。计算机程序总是有 bugs。几十年来，软件工程师汇集了令人印象深刻的技术工具包，从单元测试到形式验证。这些方法在传统软件上运行良好，但是由于这些模型的规模和结构的缺乏（可能包含数亿个参数），因此采用这些方法来严格测试神经网络等机器学习模型是非常具有挑战性的。这需要开发用于确保机器学习系统在部署时健壮的新方法。 从程序员的角度来看，错误是与系统的规范（即预期功能）不一致的任何行为。作为我们解决智能问题的使命的一部分，我们对用于评估机器学习系统是否与训练集和测试集一致，以及描述系统的期望属性的规格列表的技术进行研究。这些属性可能包括对输入中足够小的扰动的健壮性，避免灾难性故障的安全约束，或产生符合物理定律的预测。 在本文中，我们将讨论机器学习社区面临的三个重要技术挑战，因为我们共同致力于严格地开发和部署与所需规格可靠一致的机器学习系统： 有效地测试与规范的一致性。我们探索有效的方法来测试机器学习系统是否与设计者和系统用户所期望的属性（例如不变性或健壮性）一致。揭示模型可能与期望行为不一致的情况的一种方法是在评估期间系统地搜索最坏情况的结果。训练机器学习模型是与规格一致的。即使有大量的训练数据，标准的机器学习算法也可以产生预测模型，使预测与健壮性或公平型等理想规格不一致 —— 这要求我们重新考虑训练算法，这些算法不仅能够很好地拟合训练数据，而且能够与规格清单一致。形式证明机器学习模型是规格一致的。需要能够验证模型预测可证明与所有可能输入的感兴趣的规格一致的算法。虽然形式验证领域几十年来一直在研究这种算法，尽管这些方法取得了令人瞩目的进展，但却不能轻易地扩展到现代深度学习系统 与规格的一致性测试 对抗性例子的稳健性是深度学习中相对充分被研究的问题。这项工作的一个主要主题是评估强攻击的重要性，以及设计可以有效分析的透明模型。与社区的其他研究人员一起，我们发现许多模型在与弱对手进行评估时看起来很健壮。然而，当针对更强的对手进行评估时，它们显示出基本上0％的对抗准确率（Athalye等，2018，Uesato等，2018，Carlini和Wagner，2017）。 虽然大多数工作都集中在监督学习（主要是图像分类）的背景下的罕见失败，但是需要将这些想法扩展到其他设置。在最近关于揭示灾难性失败的对抗方法的工作中，我们将这些想法应用于测试旨在用于安全关键环境的强化学习智能体（Ruderman等，2018，Uesato等，2018b）。开发自治系统的一个挑战是，由于单个错误可能会产生很大的后果，因此非常小的失败概率也是不可接受的。 我们的目标是设计一个“对手”，以便我们提前检测这些故障（例如，在受控环境中）。如果攻击者可以有效地识别给定模型的最坏情况输入，则允许我们在部署模型之前捕获罕见的故障情况。与图像分类器一样，针对弱对手进行评估会在部署期间提供错误的安全感。这类似于红队的软件实践，虽然超出了恶意攻击者造成的失败，并且还包括自然出现的失败，例如由于缺乏泛化。 我们为强化学习智能体的对抗性测试开发了两种互补的方法。首先，我们使用无导数优化来直接最小化智能体的期望奖励。在第二部分中，我们学习了一种对抗值函数，该函数根据经验预测哪种情况最有可能导致智能体失败。然后，我们使用此学习函数进行优化，将评估重点放在最有问题的输入上。这些方法只构成了丰富且不断增长的潜在算法空间的一小部分，我们对严格评估智能体的未来发展感到兴奋。 这两种方法已经比随机测试产生了很大的改进。使用我们的方法，可以在几分钟内检测到需要花费数天才能发现甚至完全未被发现的故障（Uesato等，2018b）。我们还发现，对抗性测试可能会发现我们的智能体中的定性不同行为与随机测试集的评估结果不同。特别是，使用对抗性环境构造，我们发现执行 3D 导航任务的智能体平均与人类水平的性能相匹配，但令人诧异的是它仍然无法在简单迷宫上完全找到目标（Ruderman等，2018）。我们的工作还强调，需要设计能够抵御自然故障的系统，而不仅仅是针对对手 使用随机抽样，我们几乎从不观察具有高失败概率的地图，但是对抗性测试表明这样的地图确实存在。即使在移除了许多墙壁之后，这些地图仍然保留了高失败概率，从而产生比原始地图更简单的地图。 训练规格一致的模型 对抗性测试旨在找到违反规格的反例。因此，它往往会导致高估模型与这些规格的一致性。在数学上，规格是必须在神经网络的输入和输出之间保持的某种关系。这可以采用某些关键输入和输出参数的上界和下界的形式。 受此观察的启发，一些研究人员（Raghunathan 等，2018; … Continue reading 导向健壮和经验证的人工智能：规格测试，健壮训练和形式验证
设计智能体动机机制来避免副作用
By Victoria Krakovna (DeepMind), Ramana Kumar (DeepMind), Laurent Orseau (DeepMind), Alexander Turner (Oregon State University)Translated by Xiaohu Zhu (University AI) 人工智能安全中的主要挑战是可靠地指定人类偏好给人工智能系统。不正确或者不完备的目标制定会导致不可知的行为。例如，考虑一个强化学习智能体，其任务是将盒子从 A 点拿到 B 点，其奖励是尽可能快地拿到目的地。如果刚好在到 B 点的最短路径上有个花瓶，那么该智能体将没有绕过花瓶的动机，因为奖励并没有提及花瓶。由于智能体其实没有必要打破花瓶而达到 B 点，打破花瓶就是一个副作用：对智能体环境的破坏，对于达成目标完全没有必要的。 该副作用问题是设计规格（design specification）问题的特例：设计规格（只对达到 B 点的智能体奖励）不同于理想规格（指定设计者对在环境中所有事情的偏好，包括花瓶）。理想规格表达起来困难，特别是在复杂的存在很多可能的副作用的环境中。 针对此问题的一个观点是让智能体从人类反馈中学会避开副作用，如通过 reward modeling。这样做的好处是不必弄清楚副作用的含义，但也很难判断代理何时成功学会避免它们。一个补充方法是定义适用于不同环境的副作用的一般概念。这可以与奖励建模等 human-in-the-loop 方法相结合，并将提高我们对副作用问题的理解，这有助于我们更广泛地理解智能体动机。 这是我们关于副作用的新版本论文的焦点。 如果我们可以衡量智能体影响环境到什么程度，我们可以定义影响惩罚结合任何任务相关的奖励函数（如，尽可能快地达到点 B 的奖励）。为了区分想要的效果和副作用，我们可以设置一个奖励和惩罚之间的权衡。这可以让智能体采取可对奖励造成大影响的高影响行动，如为了蛋卷而打破鸡蛋。 影响惩罚包括两个组成部分：用作参考点或比较点的环境状态（称为基线）以及测量当前状态距离该基线状态的距离作为智能体行为的结果（称为偏离度量）的方法测量）。 例如，对于常用的可逆性标准，基线是环境的起始状态，偏离度量是起始状态基线的不可达性。 这些组件可以被单独选择。我们现在将讨论一些选项及其失败模式。 选择一个基线 Choosing a baseline 在选择基线时，很容易为智能体引入不良激励措施。起始状态基线似乎是一种自然选择。但是，与起始状态的差异可能不是由智能体引起的，因此对智能体进行处罚会使其有动机干扰其环境或其他代理。为了测试这种干扰行为，我们在AI Safety Gridworlds 框架中引入了 Convey or … Continue reading 设计智能体动机机制来避免副作用
迷失于数学？
Lost in Math? Moshe Y. Vardi By Moshe Y. Vardi Communications of the ACM, March 2019, Vol. 62 No. 3, Page 7 10.1145/3306448Translated by Xiaohu Zhu 当我10岁的时候，我的数学老师开了一个数学俱乐部。它不够流行以致持续时间可以超过几周，但这足以让我了解矩阵和行列式。当我回到家时，妈妈问我俱乐部是怎么样。 “很漂亮，” 我回答。 “你的意思是，'有趣'？” 她问道。 “不，”我说，“美丽！” 虽然有些人发现数学令人困惑，但其他人却觉得它优雅而美丽。数学家保罗·埃尔德斯经常提到“天书”，其中上帝保留了每个数学定理的最美丽的证明。哲学家伯特兰·罗素（Bertrand Russell）曾说：“数学，正确地看待，不仅拥有真理，而且拥有至高无上的美。”美丽可以引人注目；如此美丽的东西一定是真的！ 但最近数学之美的诱人力量受到了批评。理论物理学家 Sabine Hossenfelder 在今年早些时候出版的“Lost in Math”中断言，数学上的优雅导致物理学误入歧途。具体而言，她认为物理学的几个分支，包括弦论和量子引力，在没有实验数据证实或反驳这些理论的情况下已经将数学之美作为真理标准。她认为，理论物理学界正在成为集体思维和认知偏见的牺牲品，受到数学之美的诱惑。大约 10 年前，在 2008 年金融危机之后，诺贝尔经济学奖获得者保罗·克鲁格曼在经济学和数学方面提出了同样的观点，题目是“经济学家如何会出现这样的错误？”他的主要答案是：误将数学之美看作真理。 “正如我所看到的那样，”克鲁格曼写道，“经济学界误入歧途，因为经济学家作为一个群体，误认为披着令人印象深刻的数学外衣的美丽，为真理。” 因此，物理学和经济学都可以说在数学上已经迷失了。那计算机科学怎么样？具体来说，理论计算机科学（TCS）呢？ TCS 肯定拥有数学之美。很久以前，作为一名研究生，数学之美将我指引到TCS领域，并继续引导我的研究多年。我发现计算复杂性理论（或简称复杂性理论）及其定理（例如，时间层次和空间层次定理）及其开放问题（例如，P vs NP），令人难以忘怀。美丽，的确是的；但真相呢？ 物理理论描述了物理世界，而他们的“真理”则指的是他们描述这个世界的忠诚度。经济学理论描述了经济系统，但是通过它们的“真理”，我们不仅指它们描述这种系统的忠诚度，而且还指它们为商业人士和政策制定者提供的指导的质量。我认为计算复杂性理论在这方面类似于经济理论。它不仅应该提供一个理论框架，我们可以在其中研究算法的性能，但它也应该为使用算法的算法设计者和系统开发人员提供合理的指导。那么从这个角度看计算复杂性理论的理论有多好？ 很清楚在特定问题实例 I 上测量特定算法 A … Continue reading 迷失于数学？
PapeRman #6
本文描述了一个新的推断智能体动机的方法。该方法基于影响图，这是一种图模型的类型，包含特别的决策和效用节点。图标准可以被用来确智能体观测动机和智能体干预动机** Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings Tom Everitt Pedro A. Ortega Elizabeth Barnes Shane Legg Deepmind Agents are systems that optimize an objective function in an environment. Together, the goal and the environment induce secondary objectives, incentives. Modeling the agent-environment interaction in graphical models called influence diagrams, we … Continue reading PapeRman #6
