AN #61 人工智能策略与治理,来自该领域两位专家的分享

人工智能的许多类比都很破碎。人工智能是一套非常广泛的软件技术,不同于非常离散的核武器。使用出口制将“AI”保留在美国境内是不可行的。此外,人工智能将比创造致命的自主武器更加根本地影响战争 – Helen认为最大的军事影响可能是物流。将数据与石油进行比较也很奇怪,因为石油是竞争商品(两个人不能使用相同的油),而数据很容易被复制。此外,一桶油可以替代任何其他桶,但数据非常特定于具体应用。Helen的首选类比是将人工智能视为电力 —— 这是一种非常通用的工具,可以改变社会的许多方面。然而,这样类比也会有问题 —— 例如,人工智能研究社区看起来非常重要,但是对于电力倒不存在这样的情况。 … More AN #61 人工智能策略与治理,来自该领域两位专家的分享

AN #60 一个新的AI挑战:在创造性模式中帮助人类玩家的 Minecraft 智能体

我很高兴看到一个项目非常直接地定位在推断复杂环境中的最终用户意图。这似乎是该领域走向的一个伟大方向。我认为Minecraft也可以作为一个测试平台,研究人员或工程师 (而不是最终用户)试图让智能体做某事:我们可以在这里承担更多的专家经验和知识。理想情况下,这将使我们能够解决比最终用户使用自然语言更复杂的任务。我个人计划沿着这些方向与Minecraft合作。 … More AN #60 一个新的AI挑战:在创造性模式中帮助人类玩家的 Minecraft 智能体

最坏情况下的保证(重制版)

即使我们非常小心地部署机器学习,也可能会达到少数相关性失败(correlated failures)很快就会变成灾难性的地步。强大的模型可能会积极地破坏保护措施,抵制纠正措施,并操纵其操作。
我认为机器学习系统的长期安全性需要能够排除这种行为,我称之为不可接受(unacceptable),甚至对于在输入分布上极其罕见的输入也应如此。
在这篇文章中,我将通过强调我认为最重要的三个因素:对抗式训练、透明度和松弛来解释为何我认为这个目标很可能是可以实现的。 … More 最坏情况下的保证(重制版)

AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验?

在此处查找所有Alignment Newsletter资源。特别是,您可以注册或查看此电子表格中所有摘要中的摘要。 强调 HARK 深度学习的一面 —— 从“研究生下降法”到自动机器学习 (Oguzhan Gencoglu等):本文重点研究结果已知后的假设的负面影响(HARKing),这是研究人员  首次进行实验和观察的模式结果,一旦他们达到了可发布的标准,就会在事后解释结果后构建一个假设。它认为 HARKing 在机器学习中很常见,并且这对整个领域产生了负面影响。首先,对当前最好结果(SotA)的改进可能是有问题的,因为它们可能是由于通过“研究生下降法”的足够的超参数调整引起的,而不是在获得归因的论文中的新想法。其次,由于在会议中仅报告了积极的结果,因此存在发表偏差,这使我们无法从反面结果中学习。第三,为适合单个数据集或任务的结果而特意定制的假设不太可能推广到新的数据集或任务。第四,虽然 AutoML 系统取得了良好的效果,但我们无法弄清楚是什么让它们起作用,因为高计算要求使得消融研究更难以实现。最后,他们论述了我们需要解决 HARKing 以实现道德 AI,以人为中心的 AI,可复现的 AI 等。 Rohin 的观点:我相信在  我开始考虑这个问题之后,我第一次找到这篇 通用的有趣新论文  时发现了这篇论文,这非常巧合。我真的很高兴作者写了这篇论文 —— 这不是他们的动机(据我所知),不过该话题似乎非常重要。 也就是说,我在一些方面不同意里面的观点。作者不承认 HARKing 的价值 ——  经常进行许多实验并看看为了发展一个好的理论会发生什么是有用的。人类不是理想的贝叶斯反叛者,他们可以同时考虑所有假设; 为了甚至假设一个理论,我们通常需要很多观察。作者指出,在其他领域,HARKing 导致不良结果,但 ML 明显不同,因为  我们可以以更高的迭代速度更快地运行实验。 如果我们被迫预先注册研究,正如作者所建议的那样,迭代速度会下降一个数量级或两个数量级 ; 我严重怀疑这些好处将超过较低迭代速度的成本。研究人员可以运行实验并观察结果,制定理论,然后预先注册一个可以测试理论的实验,而不是预先注册所有实验,但在这种情况下,我希望研究人员最终“预先注册”非常相似的实验对产生该理论的实验进行了研究,结果很可能得出结论来支持该理论。 (这不需要研究人员的任何积极的恶意 —— 在你开发理论的领域中思考理论的预测是很自然的。例如,在  我们最近的论文  (AN#45)中,我们明确地设计了四个环境,我们期望我们的方法工作,一个不希望。) 另一点:我认为  HARKing 的根本原因是对 SotA 进行追逐的动机,如果我写这篇论文,我会关注这一点。例如,我认为对 SotA 追逐的偏见导致了 HARKing,而不是相反。(我不确定作者是否相信;论文在这一点上并不十分清楚。)这也是对“研究生下降法”或超参数调整引起的结果的更直接的解释; 这些论文中的 HARKing … More AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验?