具有避免奖励函数篡改动机的智能体设计

2019年8月15日

从人工智能安全的角度来看，拥有一个清晰的设计原则和一个清晰的表明了它解决了什么问题的特性描述就意味着我们不必去猜测哪些智能体是安全的。在本文和这篇论文中，我们描述了一种称为当下奖励函数优化的设计原理如何避免奖励函数篡改问题。 … More 具有避免奖励函数篡改动机的智能体设计

AN #61 人工智能策略与治理，来自该领域两位专家的分享

2019年8月5日

人工智能的许多类比都很破碎。人工智能是一套非常广泛的软件技术，不同于非常离散的核武器。使用出口制将“AI”保留在美国境内是不可行的。此外，人工智能将比创造致命的自主武器更加根本地影响战争 – Helen认为最大的军事影响可能是物流。将数据与石油进行比较也很奇怪，因为石油是竞争商品（两个人不能使用相同的油），而数据很容易被复制。此外，一桶油可以替代任何其他桶，但数据非常特定于具体应用。Helen的首选类比是将人工智能视为电力 —— 这是一种非常通用的工具，可以改变社会的许多方面。然而，这样类比也会有问题 —— 例如，人工智能研究社区看起来非常重要，但是对于电力倒不存在这样的情况。 … More AN #61 人工智能策略与治理，来自该领域两位专家的分享

AN #60 一个新的AI挑战：在创造性模式中帮助人类玩家的 Minecraft 智能体

2019年7月23日

我很高兴看到一个项目非常直接地定位在推断复杂环境中的最终用户意图。这似乎是该领域走向的一个伟大方向。我认为Minecraft也可以作为一个测试平台，研究人员或工程师 （而不是最终用户）试图让智能体做某事：我们可以在这里承担更多的专家经验和知识。理想情况下，这将使我们能够解决比最终用户使用自然语言更复杂的任务。我个人计划沿着这些方向与Minecraft合作。 … More AN #60 一个新的AI挑战：在创造性模式中帮助人类玩家的 Minecraft 智能体

PapeRman #8

2019年7月20日

A Baseline for Any Order Gradient Estimation in Stochastic Computation Graphs Authors: Jingkai Mao, Jakob Foerster, Tim Rocktaschel, Maruan Al-Shedivat 4 Gregory Farquhar, Shimon Whiteson Abstract: By enabling correct differentiation in stochastic computation graphs (SCGs), the infinitely differentiable Monte-Carlo estimator (DiCE) can generate correct estimates for the higher order gradients that arise in, e.g., multi-agent … More PapeRman #8

最坏情况下的保证（重制版）

2019年7月11日

即使我们非常小心地部署机器学习，也可能会达到少数相关性失败（correlated failures）很快就会变成灾难性的地步。强大的模型可能会积极地破坏保护措施，抵制纠正措施，并操纵其操作。
我认为机器学习系统的长期安全性需要能够排除这种行为，我称之为不可接受（unacceptable），甚至对于在输入分布上极其罕见的输入也应如此。
在这篇文章中，我将通过强调我认为最重要的三个因素：对抗式训练、透明度和松弛来解释为何我认为这个目标很可能是可以实现的。 … More 最坏情况下的保证（重制版）

AN #59 对人工智能风险的争论是如何随着时间而改变的

2019年7月11日

对于AI风险争论的转移 （Tom Sittler）由早期参数为AI安全焦点上存在风险的原因： 有着在AI能力上的尖锐的不连续跳跃的对齐失败。为了争论一个危险的转折，需要不连续性假设，例如：没有不连续性，我们可能会看到能力较弱的 AI 系统无法隐藏他们的错误对齐目标，或者试图欺骗我们而没有成功。同样，为了使 AI 系统获得决定性的战略优势，它需要比已经存在的所有其他 AI 系统更强大，这需要某种不连续性。 … More AN #59 对人工智能风险的争论是如何随着时间而改变的