← All Writing

Category: CSAGI

  • ·

    , , ,

    AN #108 为何需要仔细检查人工智能风险的争论

    中文版 对齐周报第 108 期 对齐周报是每周出版物,其最新内容与全球人工智能对齐有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 Ben Garfinkel 对人工智能风险的经典争论的仔细检查(Howie Lempel 和 Ben Garfinkel)(由 Asya 总结):在本播客中,Ben Garfinkel 考察了他对人工智能风险经典的争论持怀疑态度的几个原因(先前在此处进行了讨论(AN#45)) )。播客比此摘要具有更多的细节和细微差别。 Ben 认为,从历史上看,很难以一种可以预见的长期方式对变革性技术产生影响 —— 例如,很难看到我们可以在农业或工业化发展方面做些什么会影响到今天的世界。他认为,可以通过解决日益增加的政治动荡或锁定的可能性来获得长期影响的一些潜在途径,尽管他认为目前尚不清楚我们可以采取什么措施来影响锁定的结果,尤其是在遥远的情况下。 在对齐方面,Ben 聚焦于 Nick Bostrom 的《超级智能》(Superintelligence)中概述的标准论证集,因为它们具有广泛的影响力,而且充实。Ben 对这些论点有一些异议: 他认为不会突然跳升至功能极为强大和危险的人工智能系统,并且认为如果能力逐渐提高,我们将有更大的机会纠正出现的问题。…

  • ·

    , , ,

    AN #107 目标导向的智能体的收敛工具性子目标

    中文版 对齐周报第 107 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 基本的人工智能驱动力 (Stephen M. Omohundro)(由 Rohin 总结):2008 年的论文介绍了收敛的工具性子目标:除非谨慎避免,否则人工智能系统将“默认”具有这些子目标。对于本文而言,人工智能系统是“具有通过在世界范围内行动而试图实现的目标”的系统,即,它假定系统是目标导向的(AN#35)。 首先要论证一个足够强大的目标导向的人工智能系统将要自我提升,因为这可以帮助它在(可能很长的)未来更好地实现其目标。特别是,从效用函数由其目标决定的角度出发,它将希望最大化其期望效用,这将使其成为“理性的” 。(这样做的理由是 VNM 定理,以及支持贝叶斯主义和期望效用最大化的各种荷兰赌(Dutch book)论点。) 但是,并非所有修改都对人工智能系统有利。特别是,它将非常希望保留其实用效用函数,因为它决定了将来它将(尝试)完成的工作,并且从当前实用效用函数的角度来看,实用效用函数的任何更改将是一场灾难。同样,它将希望保护自己免受伤害,也就是说,它具有生存动机,因为如果死了就无法实现其目标。 最终的工具性子目标是获取资源并有效地使用资源以实现其目标,因为按照定义,资源几乎可用于多种目标,包括(可能是)人工智能系统的目标。 Rohin 的观点:在本期周报中,我经常提到收敛的工具性子目标,因此似乎我应该对其进行总结。我特别喜欢这篇论文,因为它在 12 年后保存得很好。即使我批评(AN#44)认为强大的人工智能系统必须是期望效用最大化器的想法,但我仍然发现自己同意本文,因为它假设了目标导向的智能体和那里的原因,而不是试图争论强大的人工智能系统必须以目标为导向。鉴于此假设,我同意此处得出的结论。 技术性人工智能对齐 MESA 优化 内部安全性,外部安全性以及构建安全高级人工智能的建议 (Lucas…

  • ·

    , , , ,

    规格欺骗:人工智能创造力的另一面

    作者:维多利亚·克拉科夫娜(Victoria Krakovna),乔纳森·上萨(Jonathan Uesato),弗拉基米尔·米库里克(Vladimir Mikulik),马修·拉赫兹(Matthew Rahtz),汤姆·埃弗里特(Tom Everever),拉玛娜·库玛(Ramana Kumar),扎克·肯顿(Zac Kenton),杨·雷克(Jan Leike),沙恩·莱格(Shane Legg)—— DeepMind 人工智能安全团队  译者:朱小虎(Xiaohu Zhu)—— Center for Safe AGI 创始人 本文交叉发布在 DeepMind 的官方网站上。 规格欺骗是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称,我们都有过规格欺骗的经验。读者可能已经听说过迈达斯国王的神话和点石成金的故事,其中国王要求将他接触的任何东西都变成黄金 —— 但很快就发现,甚至是食物和饮料也变成了他手中的金属。在现实世界中,当学生因在一项家庭作业上的出色表现而获得奖励时,他可能会抄袭另一个学生来获得正确的答案,而不是通过学习材料,从而利用了任务规格中的漏洞。 在人工智能体的设计中也会出现这个问题。例如,强化学习智能体可以找到一条获得大量奖励的捷径,而无需按照人工设计者的意图完成任务。这些行为很常见,到目前为止,我们已经收集了大约 60 个示例(汇总了现有 列表和人工智能社区的持续贡献)。在这篇文章中,我们回顾了规格欺骗的可能原因,分享了在实践中发生这种情况的案例,并争论了关于解决规格问题的原则方法的进一步工作。 让我们来看一个例子。在乐高积木堆叠任务中,理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时,会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部,而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标(红色方块的高底面),而牺牲了设计人员实际关心的内容(将其堆叠在蓝色方块的顶部)。 我们可以从两个不同的角度考虑规格欺骗。在开发强化学习(RL)算法的范围内,目标是构建学会实现给定目标的智能体。例如,当我们使用 Atari 游戏作为训练强化学习算法的基准任务时,目标是评估我们的算法是否可以解决困难的任务。在这种情况下,智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看,规格欺骗是一个好的信号 ——…