← All Writing

Category: Alignment

  • ·

    ,

    AN #105 人类的经济轨迹和优化可能的“真正”含义

    中文版 对齐周报第 105 期 对齐周报是每周出版物,其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 TABLE_OF_CONTENTS: TableOfContents 强调 建模人类轨迹 (David Roodman)(由 Nicholas 总结):这篇文章分析了从公元前 10,000 年到现在的人类轨迹,并考虑了其对未来的影响。用于此的度量标准是世界生产总值(GWP),即一年中世界上生产的商品和服务的总和。 我们可以从这段很长的历史过程的世界生产总值中得出一些有趣的结论。首先,直到 1800 年,大多数人都生活在基本生活水平附近。这意味着全球升温潜能值的增长主要由人口增长驱动。从那时起,人口增长放缓,人均 GWP 增加,导致我们今天的生活质量大大提高。其次,指数函数根本无法很好地拟合数据。在指数函数中,GWP 翻倍的时间将是恒定的。取而代之的是,世界生产总值似乎快了一倍,这更符合幂律关系。但是,推断这种关系向前发展的结论是,经济增长非常快,随着 2047 年临近,世界生产总值接近无限。 接下来,Roodman 创建一个随机模型,以便不仅分析模态预测,还获得关于特定结果可能性的完整分布。通过仅对过去的数据进行拟合,他分析了全球升温潜能值每个时期的惊人程度。结果发现,工业革命及其后的时期超过了模型分布的 90%,这与令人惊讶的快速经济增长相对应。类似地,在过去 30 年中,增长异常反常,下降了 25 个百分点。这表明该模型的随机性不能适当地反映现实世界 ——…

  • ·

    , ,

    第 98 期对齐周报 通过查看哪些梯度有用来了解神经网络训练

    对齐周报第 98 期 对齐周报是每周出版物,其中包含与全球人工智能对齐有关的最新内容。在此处找到所有对齐周报资源。特别是,你可以浏览此电子表格,查看其中的所有摘要。此处的 音频版本(可能尚未启用)。 强调 LCA:用于神经网络训练的损失变化分配 (Janice Lan等人)(由 Robert 总结):本文介绍了损失变化分配(LCA)方法。该方法的目的是深入了解和理解深度神经网络的训练过程。该方法计算每次训练迭代中每个参数之间(在整个训练集上)总损失变化的分配,将其迭代优化,直到近似误差总体上小于 1%。损失变化分配可以是正数,也可以是负数;如果为负,则表示该参数在该迭代过程中对训练有帮助;如果为负,则该参数会损害训练。假定此测量是按参数和按迭代进行的,则可以将其汇总为按层 LCA,或对参数和训练迭代进行任何其他汇总。 作者使用该方法获得了对几种小型神经网络(在 MNIST 和 CIFAR-10 上进行训练)的训练过程的许多见解。 首先,他们验证学习非常嘈杂,平均每次迭代只有一半参数会有所帮助。该分布比正态分布重尾,并且相当对称。但是,参数倾向于在帮助和伤害之间交替,并且每个参数仅倾向于在大约 50% 的时间内帮助。 其次,他们查看了 LCA 汇总的每层,对整个训练过程进行了汇总,并显示出在 CIFAR ResNet模型中第一层和最后一层对总体造成了损害(即 LCA 为正)。为了纠正这种情况并理解原因,作者尝试冻结这些层,或降低其学习率。第一层无法固定(冻结使它的 LCA 为 0,但第二层的 LCA…

  • ·

    , ,

    AN #75 用学到的游戏模型解决 Atari 和围棋问题以及一位 MIRI 成员的想法

    到目前为止,免模型强化学习方法在 Atari 等视觉丰富的领域一直是最新技术,基于模型的强化学习对于需要提前规划许多步骤的游戏(例如围棋,国际象棋和将棋)都非常出色。本文使用基于模型的方法 MuZero 在 Atari 上获得了最先进的性能,同时在围棋、国际象棋和将棋上达到了 AlphaZero (AN#36)水平,同时使用了较少的计算量。重要的是,它不需要任何游戏规则方面的知识就可以做到这一点。

  • ·

    , ,

    AN #74 将向善的人工智能分解为能力、对齐和应对影响

    第三,分类与我们开发的人工智能系统的细节相对不可知 —— 这些仅显示在第 4 级中,其中 Paul 指出他主要考虑的是学习方式的对齐,而不是规划和演绎。如果考虑其他类型的人工智能系统,我尚不清楚分解的高的层面在多大程度上有意义:如果我认为分解不如强大的演绎算法带来的风险那么好,我不会感到惊讶这将取决于演绎算法如何变得如此强大的细节。看到更多的工作提出了更强大的通用人工智能系统的更具体的模型,并对这些模型中的风险进行推理,我会感到特别兴奋,就像《学习型优化的风险》 (AN#58)中所做的那样。

  • ·

    , ,

    AN #73 通过了解智能体如何崩溃来检测灾难性故障

    在安全至关重要的领域中,一个重要的问题是准确估计灾难性故障的可能性很小:百万分之一与十亿分之一有很大不同。标准的蒙特卡洛方法需要数百万或数十亿次试验才能找到单个故障,这是非常昂贵的。本文建议在训练过程的早期使用智能体来为学习的失败概率预测器提供信号。例如,对于仿人机器人,故障定义为机器人摔倒。在早期智能体上训练神经网络,以预测智能体从给定状态跌落的可能性。为了评估最终智能体,根据神经网络认为状态导致故障的可能性对状态进行重要性抽样。这基于这样的假设,即最终智能体的故障模式与早期智能体的某些故障模式相似。总体而言,该方法将准确估计故障概率所需的样本数量减少了多个数量级。

  • ·

    , ,

    AN #72 对齐、健壮性、方法论和系统构建是人工智能安全的研究重点

    本文给出与人工智能对齐相关的问题的最新分类法。Jacob Steinhardt 将其余的技术工作分解为“技术对齐(克服创建对齐的人工智能所需的概念或工程问题),检测故障(主动评估系统或方法的安全性/对齐性的工具的开发),方法论的理解(由经验支持的最佳实践)和系统构建(在许多从事大型系统工作的工程师的背景下,如何将上述三个类别结合在一起)。”

  • ·

    ,

    AN #71 通过当下-RF优化避免奖励篡改

    我喜欢因果图的这种应用,并且认为对故障模式(例如 wireheading),工具性目标(例如奖励保留)和智能体的特定实现之间的相互作用进行类似的详细分析将非常有价值。就是说,对于提议的解决方案的可行性,我并不感到兴奋,因为它似乎需要智能体对反事实奖励的详细了解。另外,我希望在实际问题中,奖励信号的变化和状态变化之间的区别也很模糊,而当下-RF优化似乎需要非常严格的界限,而状态变化也会影响奖励。

  • ·

    ,

    AN #68 影响的可获得效用理论

    该序列的第一部分重点在于确定影响力的含义,大概是为了帮助将来设计影响的度量。妙语:一个事件是对一个智能体有影响,如果它可以改变智能体以获得想要的东西的能力。这是 可获得效用(Attainable Utility)理论。引述序列的描述:“如果一件事情不能让我们改变自己的能力才能得到想要的东西,那么这件事情怎么可能对我们是一个大问题? 如果一件事让我们的能力改变了而获得自己想要的东西,那么它怎们会对我们不重要?”

  • ·

    ,

    AN #67 创建在其中研究内部对齐故障的环境

    这篇文章提出了一个具体的环境,我们可以在其中运行上一篇文章中建议的实验。环境是一个迷宫,其中包含钥匙和箱子。真正的目的是打开箱子,但是打开箱子需要你已经有了一把钥匙(并用完了钥匙)。在训练过程中,钥匙要比箱子少得多,因此我们希望学习的模型会发展出一种“渴望”来捡起钥匙。如果我们然后用很多钥匙迷宫测试它,它会绕过地捡起钥匙,同时可能忽略箱子,这将视为内部对齐失败。这种预测的行为类似于人类如何发展对食物的“冲动”,因为祖先环境中的食物稀缺,即使现在食物很丰富。