Asya 的观点：我对作为正则化工具的影响和作为安全协议的影响感到非常兴奋。我觉得在运行时刻受到影响限制的 AI（影响限制条件）不太可能与其他没有影响力的 AI竞争（这将在后文中讨论）。我发现这样一种论点，即影响对于取消混淆的强制性尤其有用。
Rohin 的观点：在我看来，安全协议参数是针对训练时的有限动作，而影响限制因素是针对测试时的有限动作。我真的不知道正则化器应该与这两种情况有什么不同 —— 也许是因为它是 AI 专门优化的效用函数分布上的正则化器？这仍然令人困惑，我希望影响限制器的情况也可以改变效用函数。像 Asya 一样，我也担心竞争力：请参阅 下面有关可逆变化的文章 。
什么地方出了错？问题是我们评估机器智能的方式，没有考虑到机器对我们有用的事实。HC 提出： 机器在可以预期它们的动作可以实现 我们的 目标这个意义上是 有益的。当然，现在，我们仍然不知道我们的目标是什么。但这一定义，而不是我们的人工智能系统优化确定的，错误的目标，他们将 也 成为不确定的目标。HC 通过提出人工智能系统设计的三项原则对此进行了扩展，我将在此处完整引用：
1. 机器的唯一目的是最大程度地实现人们的偏好。
2. 机器最初不确定这些偏好是什么。
3. 关于人类偏好的信息的最终来源是人类行为。
关于人类最佳行为的标准逆强化学习假设似乎不切实际；我认为，本文提供了一个没有此假设的有见地的初始步骤，并以干净而引人注目的方式对问题的非最优版本进行了建模。我认为值得注意的是，这个问题对参与人的学习模型非常敏感，并且我同意该论文，这表明我们应该努力研究实际的人类学习策略。我不确定如何考虑将这些见解推广到其他逆强化学习案例。 … More AN #70 帮助仍在学习自己的偏好的人类的智能体
在此处查找所有Alignment Newsletter资源。特别是，您可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 您可以通过回复此电子邮件将其发送给我。 音频版本 在这里 （可能还没有）。 强调 AI-GAs：AI生成算法，一种生成通用人工智能的替代范例 （Jeff Clune） （由 Yuxi Liu 和 Rohin 总结）：历史上， 痛苦的教训 （AN＃49）告诉我们是那种增加用于学习的算力的方法优于那些积累了大量知识的方法。目前对 AGI 的理念似乎是我们将提出一系列构建模块（例如卷积、变换器、信任区间、GAN、主动学习和课程表法），我们将以某种方式手动组合成一个复杂的强大的 AI 系统。不再需要这种手动方法，而是可以再次应用学习，提供 AI 生成算法或 AI-GA 的范例。 AI-GA 有三大支柱。第一个是 学习架构：这类似于超级动力神经架构搜索，可以在没有任何硬编码的情况下发现卷积、循环和注意力机制。第二是 学习学习算法，即元学习。第三个也是研究得最不充分的支柱是学会 创造复杂多样的环境 来训练我们的智能体。这是元学习的自然延伸：通过元学习，您必须指定智能体应该执行的任务分发; 简单地说 AI-GA 是要学习这种分发。 POET （AN＃41）是该领域最近工作的一个例子。 我对 AI-GA 范式持乐观态度的一个强烈理由是它模仿人类产生的方式：自然选择是一种非常简单的算法，具有 大量 计算和非常复杂多样的环境能够产生通用智能：人类。由于它需要更少的构建块（因为它旨在学习所有东西），它可以比手动方法更快地成功，至少如果所需的计算量不是太高。它也比“手动”方法更容易被忽视。 但是，这里存在安全问题。任何来自 AI-GA 的强人工智能都将难以理解，因为它是通过这种大量计算产生的，所有东西都是习得的，因此很难获得符合我们价值观的 AI。此外，通过这样一个过程，强大的人工智能系统似乎更有可能“让我们感到惊讶” —— 在某些时候及其罕见的情况出现，然后巨大算力得到一个好的随机选择，突然它一下输出一个非常强大和采样高效的学习算法（又称 AGI，至少也需通过一些定义）。还有道德问题，因为我们最终会模仿进化，我们可能会意外地实例化大量可能受到影响的模拟生物（特别是如果环境具有竞争性，就会如同进化的情形那样）。 Rohin 的观点：特别是考虑到算力的 增长 （AN＃7），这个议程似乎是追求获得 AGI 的自然选择。不幸的是，它也非常密切地反映了Mesa … More AN #63 架构搜索，元学习和环境设计可以怎样去产生通用人工智能？
在此处查找所有Alignment Newsletter资源。特别是，你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 音频版本 在这里 （可能还没好）。 强调 召唤 Alignment Newsletter 贡献者 （Rohin Shah）：我正在寻找内容创作者和本期简报的发行人！请在 9 月 6 日前申请。 对抗性的例子不是错误，它们是特征 （Andrew Ilyas，Shibani Santurkar，Dimitris Tsipras，Logan Engstrom等）（由Rohin 和 Cody总结）：Distill 发表了对本文的讨论。这个重点部分将涵盖整个讨论; 所有这些摘要和意见都应该一起阅读。 考虑两种可能的对抗性样本的解释。首先，它们可能是因为模型“幻觉”一个对分类无用的信号而引起的，并且它对这个特征变得非常敏感。我们可以将这些“错误”称为“错误”，因为它们并不能很好地概括。第二，他们可以通过该功能引起的 不 推广到测试集，而是 可以 通过对抗扰动进行修改。我们可以将这些称为“非健壮特征”（与“健壮特征”相反，而这些特征不能通过对抗性扰动来改变）。作者认为，基于两个实验，至少有一些对抗性扰动属于第二类，即有信息但敏感的特征。 如果“幻觉”的解释是正确的，那么幻觉可能是由训练过程，架构的选择，数据集的大小引起的， 而不是由数据类型引起的。因此，要做的一件事就是看看我们是否可以构建一个数据集，使得在该数据集上训练的模型在没有对抗训练情况下 已经很 健壮了。作者在第一个实验中这样做。他们采用经过对抗地训练得到的健壮的分类器，并创建其特征（健壮分类器的最终激活层）与某些未修改输入的特征匹配的图像。生成的图像仅具有健壮的特征，因为原始分类器是健壮的，并且实际上在该数据集上训练的模型是自动变得健壮的。 如果“非健壮特征”的解释是正确的，那么模型应该可以在仅包含非健壮特征的数据集上学习（这对于人类来说看起来毫无意义），并且 仍然可以推广到看似正常的测试集。在第二个实验（以下称为 WrongLabels）中，作者构建了这样一个数据集。他们的假设是，对抗性扰动通过引入目标类的非健壮特征而起作用。因此，为了构建他们的数据集，他们采用带有原始标签 y 的图像 x，对某些类 y’ 进行对抗扰动以获得图像x’，然后将（x’，y’）添加到他们的数据集中（即使对于人类而言） x’ 看起来像类 y）。它们有两个版本：在 RandLabels 中，目标类 y’ 是随机选择的，而在 DetLabels 中，y’ 被选择为 y … More AN #62 对抗性样本是由真实但难以察觉的特征引起的吗？
从人工智能安全的角度来看，拥有一个清晰的设计原则和一个清晰的表明了它解决了什么问题的特性描述就意味着我们不必去猜测哪些智能体是安全的。在本文和这篇论文中，我们描述了一种称为当下奖励函数优化的设计原理如何避免奖励函数篡改问题。 … More 具有避免奖励函数篡改动机的智能体设计
人工智能的许多类比都很破碎。人工智能是一套非常广泛的软件技术，不同于非常离散的核武器。使用出口制将“AI”保留在美国境内是不可行的。此外，人工智能将比创造致命的自主武器更加根本地影响战争 – Helen认为最大的军事影响可能是物流。将数据与石油进行比较也很奇怪，因为石油是竞争商品（两个人不能使用相同的油），而数据很容易被复制。此外，一桶油可以替代任何其他桶，但数据非常特定于具体应用。Helen的首选类比是将人工智能视为电力 —— 这是一种非常通用的工具，可以改变社会的许多方面。然而，这样类比也会有问题 —— 例如，人工智能研究社区看起来非常重要，但是对于电力倒不存在这样的情况。 … More AN #61 人工智能策略与治理，来自该领域两位专家的分享
