← All Writing

Category: AI Safety

  • ·

    , , ,

    发展超级智能不是俄罗斯轮盘赌,而是一场救命的心脏手术:深度解读 Nick Bostrom 2026 新作《超级智能的最优时机》

    曾以《超级智能》敲响人类生存风险警钟的牛津哲学家 Nick Bostrom,在 2026 年最新工作论文 Optimal Timing for Superintelligence 中给出了一个颠覆直觉的推演:如果站在今天活着的 80 亿具体人类的立场上算一笔生死账,不造超级智能同样是一张死亡判决书。哪怕毁灭概率高得惊人,“疾速入港,缓步靠泊”(Swift to harbor, slow to berth)——加速抵达 AGI 能力门槛、再在全面部署前精准暂停数月至一两年,往往才是最优解。

  • ·

    , , ,

    What would a Provably Safe AGI Framework look like?

    The goal is to ensure that AGI systems act in ways that are beneficial to humanity and do not pose existential risks. A Provably Safe AGI Framework would ideally combine rigorous technical…

  • ·

    , , ,

    Navigating the Spectrum of Cooperation for Safe AGI Development

    Abstract: Artificial General Intelligence (AGI) has the potential to revolutionize the world, but its development also raises concerns about safety, ethical implications, and the possibility of unintended consequences. In this paper, we…

  • ·

    , , ,

    人工智能书籍推荐:将这些添加到您的阅读列表

    我们的 HAI 社区提供了他们正在阅读的最好的人工智能书籍。 2022 年 8 月 3 日作者 Shana Lynch 莎娜·林奇译者 Xiaohu Zhu 朱小虎 今年夏天我们问我们跨社交媒体渠道的 HAI 社区他们会推荐哪些关于人工智能的书籍。下次您访问当地书商时,这里有一些书可供您阅读,从一般兴趣到从业者的深入研究以及一些来自小说过道的书籍。 通用人工智能 病毒正义(Viral Justice)作者 Ruha Benjamin 本杰明是一位专注于种族、技术和正义的开创性学者。在这本书中,她提供了对可以产生重大影响的小决定的个人观点 我们的生活和社会。 天才创客(Genius Makers)作者 Cade Metz Metz 曾为《纽约时报》和《连线》杂志报道科技行业,将 AI…

  • ·

    , , , ,

    语言智能体的对齐

    作者:Zachary Kenton、Tom Everitt、Laura Weidinger、Iason Gabriel、Vladimir Mikulik 和 Geoffrey Irving DeepMind 译者:Xiaohu Zhu CSAGI 原文:https://deepmindsafetyresearch.medium.com/alignment-of-language-agents-9fbc7dd52c6c 你的人工智能会欺骗你吗?在考虑人工智能的安全性时,这是一个核心问题,这是从当前系统到未来通用人工智能的许多最紧迫风险的基础。我们最近在语言智能体(使用自然语言的人工智能系统)方面取得了令人瞩目的进步。这促使人们对其安全特性进行更仔细的调查。 在我们最近的论文中,我们从人工智能对齐的角度考虑语言智能体的安全性,即如何让人工智能智能体的行为与一个人或一群人想要它做的事情相匹配。未对齐可能是由于人工智能的设计者在指定人工智能智能体应该做什么时出错,或者人工智能智能体误解了指令。这可能会导致令人惊讶的不良行为,例如当人工智能智能体“游戏”其错误指定的目标时。 我们对机器学习的方式进行分类根据问题是来自训练数据、训练过程本身还是分布漂移(即训练和部署环境之间的差异),任务可能会被错误指定。 训练数据错误指定可能会发生,因为我们无法控制输入从网络上抓取的大规模文本数据集的数据,其中包含数千亿个单词,其中包含许多不需要的偏差。 当为解决一种问题而设计的学习算法应用于某些假设不再适用的另一种问题时,可能会出现训练过程错误指定。例如,应用于答案可以影响世界的环境的问答系统,可能会被激励去创造自我实现的预言。 当我们将人工智能智能体部署到现实世界时,可能会发生分布漂移错误指定,这可能不同于 训练时分布。例如,聊天机器人 Tay 在其训练环境中运行良好,但在发布到包括攻击该服务的用户在内的更广泛的互联网上时,很快就变得有毒。 任何类型的错误指定都可能产生多种不同类型的危害。大多数以前的人工智能安全研究都集中在代表人类在世界上采取物理行动的人工智能智能体(例如机器人技术)。相反,我们关注语言智能体环境中出现的危害。这些危害包括欺骗、操纵、有害内容和目标使坏游戏。由于有害内容和客观游戏已在其他地方得到处理,因此我们在这篇博文中专注于欺骗和操纵(尽管有关这些问题的部分,请参阅我们的论文)。 我们以哲学和心理学文献为基础,提供欺骗和操纵的具体定义。 稍微简化一下,我们说人工智能智能体会欺骗人类,如果他们传达的东西使人类相信某些不一定正确的东西,并且有利于人工智能智能体。操纵是相似的,除了它会导致人类以一种他们不应该有的方式做出反应,因为要么绕过人类的推理,要么将人类置于压力之下。我们的定义可以帮助衡量和减轻欺骗和操纵,而不是依赖于将意图归因于人工智能。我们只需要知道什么对人工智能智能体有好处,这通常可以从它的损失函数中推断出来。 欺骗和操纵已经成为当今语言智能体的问题。例如,在对谈判语言智能体的调查中,发现人工智能智能体学会了通过假装对它实际上并不重视的物品感兴趣来欺骗人类,以便以后通过承认它来妥协。 分类错误的形式和类型 它们可能引发的行为问题提供了一个框架,我们可以在此框架上构建我们对人工智能系统的安全性和对齐性的研究。我们相信这种研究将有助于减轻未来语言智能体环境中的潜在危害。查看我们的论文以获取更多详细信息和对这些问题的讨论以及可能的方法。

  • ·

    , ,

    REALab:概念化篡改问题

    智能体学习如何直接刺激其奖励机制,而不是解决其预期任务。在关闭/关闭问题中,智能体会干扰其监督者停止智能体操作的能力。这两个问题有一个共同的代理-监督者破坏了监督者对任务的反馈。我们将此称为篡改问题:当用于描述目标的所有反馈机制均受智能体影响时,我们如何设计追求给定目标的智能体?

  • ·

    , , ,

    AN #108 为何需要仔细检查人工智能风险的争论

    中文版 对齐周报第 108 期 对齐周报是每周出版物,其最新内容与全球人工智能对齐有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 Ben Garfinkel 对人工智能风险的经典争论的仔细检查(Howie Lempel 和 Ben Garfinkel)(由 Asya 总结):在本播客中,Ben Garfinkel 考察了他对人工智能风险经典的争论持怀疑态度的几个原因(先前在此处进行了讨论(AN#45)) )。播客比此摘要具有更多的细节和细微差别。 Ben 认为,从历史上看,很难以一种可以预见的长期方式对变革性技术产生影响 —— 例如,很难看到我们可以在农业或工业化发展方面做些什么会影响到今天的世界。他认为,可以通过解决日益增加的政治动荡或锁定的可能性来获得长期影响的一些潜在途径,尽管他认为目前尚不清楚我们可以采取什么措施来影响锁定的结果,尤其是在遥远的情况下。 在对齐方面,Ben 聚焦于 Nick Bostrom 的《超级智能》(Superintelligence)中概述的标准论证集,因为它们具有广泛的影响力,而且充实。Ben 对这些论点有一些异议: 他认为不会突然跳升至功能极为强大和危险的人工智能系统,并且认为如果能力逐渐提高,我们将有更大的机会纠正出现的问题。…

  • ·

    , , ,

    AN #107 目标导向的智能体的收敛工具性子目标

    中文版 对齐周报第 107 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 基本的人工智能驱动力 (Stephen M. Omohundro)(由 Rohin 总结):2008 年的论文介绍了收敛的工具性子目标:除非谨慎避免,否则人工智能系统将“默认”具有这些子目标。对于本文而言,人工智能系统是“具有通过在世界范围内行动而试图实现的目标”的系统,即,它假定系统是目标导向的(AN#35)。 首先要论证一个足够强大的目标导向的人工智能系统将要自我提升,因为这可以帮助它在(可能很长的)未来更好地实现其目标。特别是,从效用函数由其目标决定的角度出发,它将希望最大化其期望效用,这将使其成为“理性的” 。(这样做的理由是 VNM 定理,以及支持贝叶斯主义和期望效用最大化的各种荷兰赌(Dutch book)论点。) 但是,并非所有修改都对人工智能系统有利。特别是,它将非常希望保留其实用效用函数,因为它决定了将来它将(尝试)完成的工作,并且从当前实用效用函数的角度来看,实用效用函数的任何更改将是一场灾难。同样,它将希望保护自己免受伤害,也就是说,它具有生存动机,因为如果死了就无法实现其目标。 最终的工具性子目标是获取资源并有效地使用资源以实现其目标,因为按照定义,资源几乎可用于多种目标,包括(可能是)人工智能系统的目标。 Rohin 的观点:在本期周报中,我经常提到收敛的工具性子目标,因此似乎我应该对其进行总结。我特别喜欢这篇论文,因为它在 12 年后保存得很好。即使我批评(AN#44)认为强大的人工智能系统必须是期望效用最大化器的想法,但我仍然发现自己同意本文,因为它假设了目标导向的智能体和那里的原因,而不是试图争论强大的人工智能系统必须以目标为导向。鉴于此假设,我同意此处得出的结论。 技术性人工智能对齐 MESA 优化 内部安全性,外部安全性以及构建安全高级人工智能的建议 (Lucas…

  • ·

    , ,

    AN #101 为何我们需要严格度量和预测人工智能进展

    中文版 对齐周报第 101 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 Danny Hernandez 在预测人工智能和人工智能驱动力方面的观点(Arden Koehler 和 Danny Hernandez)(由 Rohin 总结):该播客是对实践预测及度量人工智能及其重要性的一个不错的介绍. 我不会总结在播客中的所有内容,列出其中一部分观点. Danny 谈到了 AI and Compute (AN #7)和 AI and Efficiency(AN #99)里面他在 OpenAI 完成的工作.…

  • ·

    , ,

    AN #102 通过 GPT-3 的元学习和人工智能对齐的完全提议列表

    中文版 对齐周报第 102 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 语言模型是少次学习器 (Tom B. Brown 等)(由 Rohin 总结):最大的 GPT-2 模型(AN#46)具有 15 亿个参数,自发布以来,人们已经训练了多达 17 种语言模型十亿个参数。本文报告了 GPT-3 的结果,其中最大的模型具有 1,750 亿个参数,比以前的最大语言模型增加了 10 倍。为了消除障碍,它在零次语言建模方面建立了新的技术水平(SOTA)(仅在 Penn Tree Bank 上进行评估,因为其他评估集偶然地是其训练集的一部分)。…