Xiaohu Zhu AI Safety, Alignment

AN #69 Stuart Russell 新书-为何我们需要替换人工智能标准模型？

什么地方出了错？问题是我们评估机器智能的方式，没有考虑到机器对我们有用的事实。HC 提出：  机器在可以预期它们的动作可以实现 我们的 目标这个意义上是 有益的。当然，现在，我们仍然不知道我们的目标是什么。但这一定义，而不是我们的人工智能系统优化确定的，错误的目标，他们将 也 成为不确定的目标。HC 通过提出人工智能系统设计的三项原则对此进行了扩展，我将在此处完整引用：

1.  机器的唯一目的是最大程度地实现人们的偏好。

2.  机器最初不确定这些偏好是什么。

3.  关于人类偏好的信息的最终来源是人类行为。

Xiaohu Zhu AI Safety, Alignment

AN #70 帮助仍在学习自己的偏好的人类的智能体

关于人类最佳行为的标准逆强化学习假设似乎不切实际；我认为，本文提供了一个没有此假设的有见地的初始步骤，并以干净而引人注目的方式对问题的非最优版本进行了建模。我认为值得注意的是，这个问题对参与人的学习模型非常敏感，并且我同意该论文，这表明我们应该努力研究实际的人类学习策略。我不确定如何考虑将这些见解推广到其他逆强化学习案例。

Xiaohu Zhu AGI, AI Safety, Alignment

AN #62 对抗性样本是由真实但难以察觉的特征引起的吗？

在此处查找所有Alignment Newsletter资源。特别是，你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 音频版本  在这里  （可能还没好）。 强调 召唤 Alignment Newsletter 贡献者 （Rohin Shah）：我正在寻找内容创作者和本期简报的发行人！请在 9 月 6 日前申请。 对抗性的例子不是错误，它们是特征 （Andrew Ilyas，​​Shibani Santurkar，Dimitris Tsipras，Logan Engstrom等）（由Rohin 和 Cody总结）：Distill 发表了对本文的讨论。这个重点部分将涵盖整个讨论; 所有这些摘要和意见都应该一起阅读。 考虑两种可能的对抗性样本的解释。首先，它们可能是因为模型“幻觉”一个对分类无用的信号而引起的，并且它对这个特征变得非常敏感。我们可以将这些“错误”称为“错误”，因为它们并不能很好地概括。第二，他们可以通过该功能引起的  不  推广到测试集，而是  可以  通过对抗扰动进行修改。我们可以将这些称为“非健壮特征”（与“健壮特征”相反，而这些特征不能通过对抗性扰动来改变）。作者认为，基于两个实验，至少有一些对抗性扰动属于第二类，即有信息但敏感的特征。 如果“幻觉”的解释是正确的，那么幻觉可能是由训练过程，架构的选择，数据集的大小引起的，  而不是由数据类型引起的。因此，要做的一件事就是看看我们是否可以构建一个数据集，使得在该数据集上训练的模型在没有对抗训练情况下  已经很  健壮了。作者在第一个实验中这样做。他们采用经过对抗地训练得到的健壮的分类器，并创建其特征（健壮分类器的最终激活层）与某些未修改输入的特征匹配的图像。生成的图像仅具有健壮的特征，因为原始分类器是健壮的，并且实际上在该数据集上训练的模型是自动变得健壮的。 如果“非健壮特征”的解释是正确的，那么模型应该可以在仅包含非健壮特征的数据集上学习（这对于人类来说看起来毫无意义），并且  仍然可以推广到看似正常的测试集。在第二个实验（以下称为 WrongLabels）中，作者构建了这样一个数据集。他们的假设是，对抗性扰动通过引入目标类的非健壮特征而起作用。因此，为了构建他们的数据集，他们采用带有原始标签 y 的图像 x，对某些类 y' 进行对抗扰动以获得图像x'，然后将（x'，y'）添加到他们的数据集中（即使对于人类而言） x' 看起来像类 y）。它们有两个版本：在 RandLabels 中，目标类 y' 是随机选择的，而在 DetLabels 中，y' 被选择为 y … Continue reading AN #62 对抗性样本是由真实但难以察觉的特征引起的吗？

Xiaohu Zhu AGI, AI Safety, Alignment

AN #61 人工智能策略与治理，来自该领域两位专家的分享

人工智能的许多类比都很破碎。人工智能是一套非常广泛的软件技术，不同于非常离散的核武器。使用出口制将“AI”保留在美国境内是不可行的。此外，人工智能将比创造致命的自主武器更加根本地影响战争 - Helen认为最大的军事影响可能是物流。将数据与石油进行比较也很奇怪，因为石油是竞争商品（两个人不能使用相同的油），而数据很容易被复制。此外，一桶油可以替代任何其他桶，但数据非常特定于具体应用。Helen的首选类比是将人工智能视为电力 —— 这是一种非常通用的工具，可以改变社会的许多方面。然而，这样类比也会有问题 —— 例如，人工智能研究社区看起来非常重要，但是对于电力倒不存在这样的情况。

Xiaohu Zhu AGI, AI Safety, Alignment

AN #60 一个新的AI挑战：在创造性模式中帮助人类玩家的 Minecraft 智能体

我很高兴看到一个项目非常直接地定位在推断复杂环境中的最终用户意图。这似乎是该领域走向的一个伟大方向。我认为Minecraft也可以作为一个测试平台，研究人员或工程师 （而不是最终用户）试图让智能体做某事：我们可以在这里承担更多的专家经验和知识。理想情况下，这将使我们能够解决比最终用户使用自然语言更复杂的任务。我个人计划沿着这些方向与Minecraft合作。

Xiaohu Zhu AGI, AI Safety, Alignment, OpenAI

最坏情况下的保证（重制版）

即使我们非常小心地部署机器学习，也可能会达到少数相关性失败（correlated failures）很快就会变成灾难性的地步。强大的模型可能会积极地破坏保护措施，抵制纠正措施，并操纵其操作。 我认为机器学习系统的长期安全性需要能够排除这种行为，我称之为不可接受（unacceptable），甚至对于在输入分布上极其罕见的输入也应如此。 在这篇文章中，我将通过强调我认为最重要的三个因素：对抗式训练、透明度和松弛来解释为何我认为这个目标很可能是可以实现的。

Xiaohu Zhu Alignment

AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验？

在此处查找所有Alignment Newsletter资源。特别是，您可以注册或查看此电子表格中所有摘要中的摘要。 强调 HARK 深度学习的一面 —— 从“研究生下降法”到自动机器学习 （Oguzhan Gencoglu等）：本文重点研究结果已知后的假设的负面影响（HARKing），这是研究人员  首次进行实验和观察的模式结果，一旦他们达到了可发布的标准，就会在事后解释结果后构建一个假设。它认为 HARKing 在机器学习中很常见，并且这对整个领域产生了负面影响。首先，对当前最好结果（SotA）的改进可能是有问题的，因为它们可能是由于通过“研究生下降法”的足够的超参数调整引起的，而不是在获得归因的论文中的新想法。其次，由于在会议中仅报告了积极的结果，因此存在发表偏差，这使我们无法从反面结果中学习。第三，为适合单个数据集或任务的结果而特意定制的假设不太可能推广到新的数据集或任务。第四，虽然 AutoML 系统取得了良好的效果，但我们无法弄清楚是什么让它们起作用，因为高计算要求使得消融研究更难以实现。最后，他们论述了我们需要解决 HARKing 以实现道德 AI，以人为中心的 AI，可复现的 AI 等。 Rohin 的观点：我相信在  我开始考虑这个问题之后，我第一次找到这篇 通用的有趣新论文  时发现了这篇论文，这非常巧合。我真的很高兴作者写了这篇论文 —— 这不是他们的动机（据我所知），不过该话题似乎非常重要。 也就是说，我在一些方面不同意里面的观点。作者不承认 HARKing 的价值 ——  经常进行许多实验并看看为了发展一个好的理论会发生什么是有用的。人类不是理想的贝叶斯反叛者，他们可以同时考虑所有假设; 为了甚至假设一个理论，我们通常需要很多观察。作者指出，在其他领域，HARKing 导致不良结果，但 ML 明显不同，因为  我们可以以更高的迭代速度更快地运行实验。 如果我们被迫预先注册研究，正如作者所建议的那样，迭代速度会下降一个数量级或两个数量级 ; 我严重怀疑这些好处将超过较低迭代速度的成本。研究人员可以运行实验并观察结果，制定理论，然后预先注册一个可以测试理论的实验，而不是预先注册所有实验，但在这种情况下，我希望研究人员最终“预先注册”非常相似的实验对产生该理论的实验进行了研究，结果很可能得出结论来支持该理论。 （这不需要研究人员的任何积极的恶意 —— 在你开发理论的领域中思考理论的预测是很自然的。例如，在  我们最近的论文  （AN＃45）中，我们明确地设计了四个环境，我们期望我们的方法工作，一个不希望。） 另一点：我认为  HARKing 的根本原因是对 SotA 进行追逐的动机，如果我写这篇论文，我会关注这一点。例如，我认为对 SotA 追逐的偏见导致了 HARKing，而不是相反。（我不确定作者是否相信;论文在这一点上并不十分清楚。）这也是对“研究生下降法”或超参数调整引起的结果的更直接的解释; 这些论文中的 HARKing … Continue reading AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验？