I read several articles about mathematical logic these days. Finally, I just found some work done by Boris. Record the intro here. Boris (Boaz) Avraamovich Trakhtenbrot (Russian: Борис Авраамович Трахтенброт; 19 February 1921 – 19 September 2016), or Boaz (Boris) Trakhtenbrot (Hebrew: בועז טרכטנברוט) was an Israeli and Russian mathematician in mathematical logic, algorithms, theory of computation, and cybernetics. Trakhtenbrot was born in Brichevo, northern Bessarabia.[1][2] He worked at Akademgorodok, Novosibirsk during … Continue reading Logician|Boris Trakhtenbrot
规格欺骗:人工智能创造力的另一面
作者:维多利亚·克拉科夫娜(Victoria Krakovna),乔纳森·上萨(Jonathan Uesato),弗拉基米尔·米库里克(Vladimir Mikulik),马修·拉赫兹(Matthew Rahtz),汤姆·埃弗里特(Tom Everever),拉玛娜·库玛(Ramana Kumar),扎克·肯顿(Zac Kenton),杨·雷克(Jan Leike),沙恩·莱格(Shane Legg)—— DeepMind 人工智能安全团队 译者:朱小虎(Xiaohu Zhu)—— Center for Safe AGI 创始人 本文交叉发布在 DeepMind 的官方网站上。 规格欺骗是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称,我们都有过规格欺骗的经验。读者可能已经听说过迈达斯国王的神话和点石成金的故事,其中国王要求将他接触的任何东西都变成黄金 —— 但很快就发现,甚至是食物和饮料也变成了他手中的金属。在现实世界中,当学生因在一项家庭作业上的出色表现而获得奖励时,他可能会抄袭另一个学生来获得正确的答案,而不是通过学习材料,从而利用了任务规格中的漏洞。 在人工智能体的设计中也会出现这个问题。例如,强化学习智能体可以找到一条获得大量奖励的捷径,而无需按照人工设计者的意图完成任务。这些行为很常见,到目前为止,我们已经收集了大约 60 个示例(汇总了现有 列表和人工智能社区的持续贡献)。在这篇文章中,我们回顾了规格欺骗的可能原因,分享了在实践中发生这种情况的案例,并争论了关于解决规格问题的原则方法的进一步工作。 让我们来看一个例子。在乐高积木堆叠任务中,理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时,会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部,而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标(红色方块的高底面),而牺牲了设计人员实际关心的内容(将其堆叠在蓝色方块的顶部)。 资料来源:数据有效的深度强化学习,用于敏捷操作(Popov等人,2017年) 我们可以从两个不同的角度考虑规格欺骗。在开发强化学习(RL)算法的范围内,目标是构建学会实现给定目标的智能体。例如,当我们使用 Atari 游戏作为训练强化学习算法的基准任务时,目标是评估我们的算法是否可以解决困难的任务。在这种情况下,智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看,规格欺骗是一个好的信号 —— 智能体已找到一种实现指定目标的新式方法。这些行为说明了算法的独创性和强大能力,它们可以找到确切地执行我们告诉他们的操作的方法。 但是,当我们希望智能体实际去堆叠乐高积木时,相同的创造力可能会带来问题。在构建能够在世界范围内实现预期结果的对齐的智能体的更广泛范围内,规格欺骗是有问题的,因为它涉及智能体以牺牲预期结果为代价来利用规格中的漏洞。这些行为是由于预期任务的规格不正确而不是强化学习算法中的任何缺陷引起的。除了算法设计之外,构建对齐智能体的另一个必要组件是奖励设计。 准确地反映人类设计者意图的设计任务规格(奖励功能,环境等)往往很困难。甚至对一个存在轻微的错误规格指定,一个非常好的RL算法也许能够找到与预期解决方案完全不同的复杂解决方案,即使一个更差的算法无法找到该解决方案,但得出的结果反而更接近于预期的解决方案。这意味着,随着强化学习算法的改进,正确指定意图对于实现所需结果变得更加重要。因此,至关重要的是,研究人员正确指定任务的能力必须与智能体寻找新颖解决方案的能力保持一致。 我们在广义上使用术语任务规格来涵盖智能体开发过程的许多方面。在强化学习设置中,任务规格不仅包括奖励设计,还包括训练环境和辅助奖励的选择。任务说明的正确性可以确定智能体的创造力是否符合预期结果。如果规格正确,智能体的创造力将产生理想的新颖解决方案。这就是 AlphaGo 走出著名的第 37 步的原因,这使人类围棋专家感到惊讶,但这在与李世石的第二场比赛中至关重要。如果规格错误,则可能会产生不良的博弈行为,例如翻转方块。这些类型的解决方案取决于一个范围,我们还没有一个客观的方式来区分它们。 现在,我们将考虑规格欺骗的可能原因。奖赏功能失准的一种根源是设计不当的奖赏塑造。奖励塑形通过在解决任务的方式上给予智能体一些奖励,而不是仅仅奖励最终结果,使学习一些目标变得更加容易。但是,如果奖励不是基于潜力的,则可以改变最优策略。考虑一个在海岸奔跑者游戏中控制船只的智能体,该游戏的预期目标是尽快完成比赛。智能体因在赛道上击中绿色方块而获得了成形奖励,这将最佳策略更改为绕行并一遍又一遍击中相同的绿色方块。 资料来源:荒谬的奖励功能(Amodei&Clark,2016年) 指定能够准确捕获所需最终结果的奖励本身可能是一项挑战。在乐高积木堆叠任务中,仅指定红色块的底面必须高出地面是不够的,因为智能体可以简单地翻转红色块来实现此目标。对所需结果的更全面说明还包括:红色块的顶面必须在底面之上,并且底面必须与蓝色块的顶面对齐。在指定结果时,很容易错过这些标准之一,从而使规格变得过于宽泛,并且可能更容易满足于一个退化的解决方案。 与其尝试创建涵盖所有可能的极端情况的规格,不如从人类反馈中学习奖励函数。评估结果是否已实现通常比明确指定结果要容易得多。但是,如果奖励模型没有学习到反映设计者偏好的真实奖励函数,则此方法也会遇到规格欺骗问题。错误的一种可能来源可能是用于训练奖励模型的人为反馈。例如,执行抓取任务的智能体通过在相机和对象之间悬停而学会了愚弄人类评估者。 资料来源:《人类偏好的深度强化学习》(Christiano等,2017) 由于其他原因,例如泛化不佳,学习的奖励模型也可能被错误指定。可以使用其他反馈来更正智能体尝试利用奖励模型中的不准确性的尝试。 另一类规格欺骗示例来自利用模拟器错误的智能体。例如,一个本应学会走路的模拟机器人想出了如何将双腿钩在一起并沿着地面滑动的方法。 资料来源:AI学步(Code Bullet,2019) 乍一看,这些示例可能看起来很有趣,但没那么有趣,并且与在没有模拟器错误的现实世界中部署智能体无关。但是,根本问题不是错误本身,而是智能体可以利用的抽象失败。在上面的示例中,由于对模拟器物理的错误假设,错误地指定了机器人的任务。类似地,通过错误地假设交通流量路由基础结构不具有足够聪明的智能体可以发现的软件错误或安全漏洞,可能会错误地指定现实世界的流量优化任务。无需明确地做出这样的假设 —— 更有可能的是,它们只是设计者从未想到的细节。而且,由于任务变得过于复杂而无法考虑每个细节,规格设计期间的错误假设。这就提出了一个问题:是否有可能设计能够纠正这种错误假设而不是进行假冒的智能体架构? 任务规格中通常做出的一种假设是,任务规格不会受到智能体的动作的影响。对于在沙盒模拟器中运行的智能体,这是正确的,但对于在现实世界中运行的智能体,则不是这样。任何任务说明都具有物理表现:存储在计算机上的奖励功能或存储在人脑中的偏好。部署在现实世界中的智能体程序可能会操纵目标的这些表示,从而产生奖励篡改问题。对于我们假设的流量优化系统,在满足用户的偏好(例如,通过给出有用的指示)与影响用户之间并没有明显的区别。(例如,通过轻推它们以选择更容易达到的目的地)。前者满足了目标,而后者则操纵了目标在世界上的表示(用户偏好),两者都为人工智能系统带来了丰厚的回报。再举一个极端的例子,一个非常先进的人工智能系统可以劫持运行它的计算机,并手动将其奖励信号设置为较高的值。 综上所述,解决规格欺骗至少要克服三个挑战: … Continue reading 规格欺骗:人工智能创造力的另一面
A Comparative Analysis of Expected and Distributional Reinforcement Learning
Clare Lyle, Pablo Samuel Castro, and Marc G. Bellemare Since their introduction a year ago, distributional approaches to reinforcement learning (distributional RL) have produced strong results relative to the standard approach which models expected values (expected RL). However, aside from convergence guarantees, there have been few theoretical results investigating the reasons behind the improvements distributional … Continue reading A Comparative Analysis of Expected and Distributional Reinforcement Learning
AN #63 架构搜索,元学习和环境设计可以怎样去产生通用人工智能?
在此处查找所有Alignment Newsletter资源。特别是,您可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 您可以通过回复此电子邮件将其发送给我。 音频版本 在这里 (可能还没有)。 强调 AI-GAs:AI生成算法,一种生成通用人工智能的替代范例 (Jeff Clune) (由 Yuxi Liu 和 Rohin 总结):历史上, 痛苦的教训 (AN#49)告诉我们是那种增加用于学习的算力的方法优于那些积累了大量知识的方法。目前对 AGI 的理念似乎是我们将提出一系列构建模块(例如卷积、变换器、信任区间、GAN、主动学习和课程表法),我们将以某种方式手动组合成一个复杂的强大的 AI 系统。不再需要这种手动方法,而是可以再次应用学习,提供 AI 生成算法或 AI-GA 的范例。 AI-GA 有三大支柱。第一个是 学习架构:这类似于超级动力神经架构搜索,可以在没有任何硬编码的情况下发现卷积、循环和注意力机制。第二是 学习学习算法,即元学习。第三个也是研究得最不充分的支柱是学会 创造复杂多样的环境 来训练我们的智能体。这是元学习的自然延伸:通过元学习,您必须指定智能体应该执行的任务分发; 简单地说 AI-GA 是要学习这种分发。 POET (AN#41)是该领域最近工作的一个例子。 我对 AI-GA 范式持乐观态度的一个强烈理由是它模仿人类产生的方式:自然选择是一种非常简单的算法,具有 大量 计算和非常复杂多样的环境能够产生通用智能:人类。由于它需要更少的构建块(因为它旨在学习所有东西),它可以比手动方法更快地成功,至少如果所需的计算量不是太高。它也比“手动”方法更容易被忽视。 但是,这里存在安全问题。任何来自 AI-GA 的强人工智能都将难以理解,因为它是通过这种大量计算产生的,所有东西都是习得的,因此很难获得符合我们价值观的 AI。此外,通过这样一个过程,强大的人工智能系统似乎更有可能“让我们感到惊讶” —— 在某些时候及其罕见的情况出现,然后巨大算力得到一个好的随机选择,突然它一下输出一个非常强大和采样高效的学习算法(又称 AGI,至少也需通过一些定义)。还有道德问题,因为我们最终会模仿进化,我们可能会意外地实例化大量可能受到影响的模拟生物(特别是如果环境具有竞争性,就会如同进化的情形那样)。 Rohin 的观点:特别是考虑到算力的 增长 (AN#7),这个议程似乎是追求获得 AGI 的自然选择。不幸的是,它也非常密切地反映了Mesa … Continue reading AN #63 架构搜索,元学习和环境设计可以怎样去产生通用人工智能?
PapeRman #8
A Baseline for Any Order Gradient Estimation in Stochastic Computation GraphsAuthors: Jingkai Mao, Jakob Foerster, Tim Rocktaschel, Maruan Al-Shedivat 4 Gregory Farquhar, Shimon WhitesonAbstract: By enabling correct differentiation in stochastic computation graphs (SCGs), the infinitely differentiable Monte-Carlo estimator (DiCE) can generate correct estimates for the higher order gradients that arise in, e.g., multi-agent reinforcement learning … Continue reading PapeRman #8
人工智能风险争论的转变
超级智能中的论点结合了三个特征:(i)关注对齐问题,(ii)不连续性假设,以及(iii)得出存在性灾难的结论。
AN #59 对人工智能风险的争论是如何随着时间而改变的
对于AI风险争论的转移 (Tom Sittler)由早期参数为AI安全焦点上存在风险的原因: 有着在AI能力上的尖锐的不连续跳跃的对齐失败。为了争论一个危险的转折,需要不连续性假设,例如:没有不连续性,我们可能会看到能力较弱的 AI 系统无法隐藏他们的错误对齐目标,或者试图欺骗我们而没有成功。同样,为了使 AI 系统获得决定性的战略优势,它需要比已经存在的所有其他 AI 系统更强大,这需要某种不连续性。
AN #58 Mesa 优化:这是什么,为什么我们应该关心它
在此处查找所有Alignment Newsletter资源。特别是,你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 强调 高级机器学习系统中学到的优化的风险 (Evan Hubinger等):假设你搜索一个程序空间,寻找能够很好地玩 TicTacToe 的程序。最初,你可能会发现一些很好的启发式方法,例如去中心广场,如果你沿着一行有两个,然后放置第三个,等等。但最终你可能会找到 minimax 算法,通过搜索最好的行动从而最优化自身行为。值得注意的是,你对程序空间的外部优化发现了一个程序 本身就是 一个针对可能行动进行搜索的优化器。用本文语言来说,minimax 算法是一个 mesa 优化器:一个由基本优化器自主发现的优化器,在这种情况下的搜索针对所有程序。 为什么这与人工智能有关?嗯,梯度下降是一种优化算法,它搜索神经网络的参数空间,以找到在某个目标函数上表现良好的参数集合。发生同样的事情似乎也很合理:梯度下降可以找到一个本身正在进行优化的模型。那个模型将成为 mesa 优化器,它优化的目标是 mesa 目标。请注意,虽然 mesa 目标应该导致与训练分布上的基目标类似的行为,但它不需要在偏离分布时这样。这意味着 mesa 目标是 伪对齐的 ; 它如果在偏离分布时也导致类似行为,它是 健壮的(Robust)对齐。 人工智能对齐的一个主要担忧是,如果强大的智能体优化了错误的目标,它可能会导致人类的灾难性后果。由于 mesa 优化器的可能性,这种担心加倍:我们需要确保基目标函数与人类对齐(称为 外部对齐)并且 mesa 目标与基目标对齐(称为 内部对齐)。一个特别令人担忧的方面是 欺骗性对齐:mesa 优化器具有长期的 mesa 目标,但知道它正在针对基目标进行优化。因此,它在训练期间优化了基目标以避免被修改,但在部署时,当被修改的威胁消失时,它就只追求 mesa 目标。 下面我们来举例说明动机,如果有人想要创建最好的生物复制器,他们可以合理地使用自然选择/进化作为这个目标的优化算法。然而,这将导致人类的创造,他们将是优化其他目标的 mesa 优化器,并且不优化复制(例如通过使用节育控制)。 本文有更多的细节和分析,哪些因素使得 mesa 优化更有可能,更危险等等。你必须阅读论文了解所有这些细节。一种通用模式是,当使用机器学习解决某些任务 X 时,有许多属性会影响学习启发式或代理的可能性,而不是实际学习针对 X 的最佳算法。对于任何此类属性,使启发式/代理更多可能会导致 mesa 优化的可能性降低(因为优化器不像启发式/代理),但是在 mesa … Continue reading AN #58 Mesa 优化:这是什么,为什么我们应该关心它
PapeRman #8
Note on the bias and variance of variational inference 1906.03708.pdf Evaluating the Robustness of Nearest Neighbor Classifiers: A Primal-Dual Perspective 1906.03972.pdf Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation 1906.04053.pdf Forward and Backward Knowledge Transfer for Sentiment Classification 1906.03506.pdf Zooming Cautiously: Linear-Memory Heuristic Search With Node Expansion Guarantees 1906.03242.pdf What Does … Continue reading PapeRman #8