@archillect Memory-based meta-learning is a powerful technique to build agents that adapt fast to any task within a target distribution. A previous theoretical study has argued that this remarkable performance is because the meta-training protocol incentivises agents to behave Bayes-optimally. We empirically investigate this claim on a number of prediction and bandit tasks. Inspired by … Continue reading 元式训练成的智能体实现了贝叶斯最优的智能体
关于 F. Chollet 的“关于智能的测量”（2019）
发布时间： 2020年2月10日 上周，Kaggle宣布了一项新挑战。不同的挑战-在许多方面。它基于抽象和推理语料库，并附有Francois Chollet最近的论文。 在这项工作中，Chollet强调了当前AI研究议程的一些缺点，并主张对智能系统进行基于心理和能力的评估，从而实现标准化和可靠的比较。更重要的是，它引入了可行的以先验，经验和归纳难度为基础的类人通用智能的定义。研究社区可以使用此定义来衡量进度并共同致力于一个共同的目标。阅读本文之后，在我们的阅读小组中进行讨论（您可以在此处查看Heiner Spiess的演讲），并且重新阅读我的思想仍在整理知识内容。因此，请坚持并让我给您一个关于64页金矿的总结。我还对抽象和推理语料库基准进行了一些探讨，因此，如果您想着手处理智能，请坚持学习！ 问题：找到智能的精确定义 机器学习研究的进展绝对不是在寻找下一个性感技能或游戏。但是通常感觉就像是。DeepBlue，AlphaGo，OpenAI的Five，AlphaStar都是大规模公关活动的例子，这些公关活动仅在其“成功”声明发布后不久就因缺乏通用性而受到批评。每当“技巧球”被推向下一个挑战性游戏时（也许哈纳比（Hanabi）可以进行一些心理理论上的多主体合作学习？）。但是，我们到哪里去呢？解决每个游戏的单独算法不一定会推广到更广泛的类人挑战。游戏只是人为的一个子集，并不代表我们物种生态位的全部范围（可以快速生成数据）。综上所述：智力不仅仅是学习技能的集合。因此，AI研究界必须解决一个共同的目标-智力的一致目标定义。 从历史上看，已经有很多尝试来测量智力-或多或少地重叠。Chollet的论文首先回顾了两个主要支柱：基于技能的智力评估与基于能力的智力评估。他认为，虽然技能是智能系统的关键输出，但它们仅是人造物。另一方面，能力允许扩大可能的技能输出的空间。通过学习的魔力（例如，基于进化/梯度，基于可塑性，基于神经动力学），智能系统能够将先前的知识和经验与新的情况相结合。这种适应性强，面向任务且非常有条件的过程最终可能会导致智能问题。 在我看来，很明显，学习和与生境相关的归纳性偏见（例如我们的身体和神经系统）的出现必定是智力的核心。它弥合了所有时间尺度，并与Jeff Clune，David Ha和Blaise Aguera在NeurIPS 2019期间提出的想法产生了共鸣。我们的机器学习基准也应该反映出这一高级目标。这并不是说已经有很多尝试，包括以下内容： 元学习：我们不应该优化在2亿个ATARI游戏框架上受过训练的特工的绩效，而应着眼于快速适应性和灵活性，以解决特定任务所需的技能。元学习明确地将快速适应性表述为外循环目标，而内循环则被限制为只能在SGD的几次更新内学习或展开循环动力学。关系深度学习和图神经网络：关系方法将深度学习与围绕命题逻辑的传统方法结合在一起。因此，人们可以“理解”表示如何相互比较，并获得一组可解释的关注头。希望这样的推断/学习的关系表示可以轻松地跨任务转移。课程学习：另一种方法是建立有效的任务序列，以使学习者能够平稳地跨过不断变化的损失面。这样做需要任务之间有重叠，这样才能进行技能转移。直觉上，这很像我们通过不断挑战而获得的技能。 尽管如此，大多数社区仍在研究可比较的利基问题，这些问题远离泛化和类似人类的一般智慧。那么我们该怎么办？ 迈向智力的心理计量学 AI和ML社区一直在梦想一个前所未有的通用智能概念。人类的认知和大脑是自然的第一个起点。但是神经科学方面的发现似乎很缓慢/模棱两可，而且如何将低水平的细胞灵感转化为归纳性偏见的算法形式并不常见。另一方面，心理学和心理计量学是心理测量的学科（根据Wikipedia ），可提供不同层次分析的见解。Chollet建议不要再忽视来自数十年来开发人类智能测试的社区的见解。 他的主要论据之一是反对普遍的g因子。相反，所有已知的智能系统都取决于其环境和任务规范。人类智能针对人类问题进行了优化。因此，在解决火星可能遇到的问题方面表现更差。这就是所谓的“无免费午餐智力定理”。因此，我们对智力的所有定义也仅在人类参考框架内有效。我们不应该忽略对人类的拟人化但可行的评估，而应该接受它。心理学的角度可以使我们清楚地了解开发人员的偏见以及我们在人工系统中建立的先验知识。乔莱特建议发展以人为中心的智力测验，结合了人类认知先验和核心知识的发展心理学概念。这些包括不同级别的描述（例如低级的感觉运动反射，学习如何学习的能力以及高级知识）以及先天的能力（例如基本几何，算术，物理和代理）。因此，可行的智能定义如下： “系统的智能是衡量其在一定范围内与先验，经验和归纳难度有关的任务中技能获取效率的指标。” -乔莱特（2019;第27页） 此外，Chollet还提供了基于形式化算法信息论的人工系统智能度量： 换句话说：智力的度量可以解释为当前信息状态与在不确定的未来中表现良好的能力之间的转换率。它说明了任务的一般化难度，先验知识和经验，并允许对任务进行主观加权以及我们关注的任务的主观构造。该措施与所提出的任务范围（生态位）相关联，将技能仅视为输出工件属性，并基于课程优化。从总体上讲，此度量可用于定义自上而下的优化目标。这将允许应用一些连锁规则/自动区分魔术（如果生活可以平滑区分），最重要的是量化进度。 显而易见的下一个问题变成了：那么，我们如何才能实际采取这种措施？ 新基准：抽象和推理语料库（ARC） 抽象和推理语料库通过引入一个新颖的基准来解决这个问题，该基准旨在评估和提供可重复的人工智能测试。它使人想起了经典Raven的渐进矩阵，甚至对于不时的人类来说也非常棘手。每个任务（请参见上面的示例）为系统提供一组示例输入输出对，并在输出中查询测试输入。该系统最多可以提交3个解决方案，并接收二进制奖励信号（真/假）。上述任务的具体解决方案需要对重力概念有一个大概的了解。输出只是将对象“拖放”到图像阵列的底部。但这只是一个解决方案示例。基准范围更广，需要不同的核心知识概念。整个数据集包括400个训练任务，400个评估任务和另外200个保持测试任务。非常令人兴奋，对吧？ 在过去的几天里，我对基准测试有点不满。尝试使用即插即用的深度（强化）学习时，存在几个基本问题。最初，问题在于不规则的输入/输出形状。如果您训练自己喜欢的MNIST-CNN，则输入层和输出层的形状都是固定的（即32x32和10个输出数字标签）。从这个意义上说，ARC基准不是常规的。有时有两个形状不同的示例，而输出查询的确有不同的示例。因此，变得不可能训练具有单个输入/输出层的网络。此外，示例数也有所不同（请参见下图），目前尚不清楚如何利用这3次尝试。我最初的想法围绕在给定的示例上进行k折交叉验证形式，并尝试利用Relational DL社区（例如PrediNet）的想法。训练两个，然后测试最后一个示例。仅在收敛和交叉验证为零之后，我们才进行实际测试。主要问题：每个示例的在线培训。这可能变得非常计算密集。 尝试尝试的一种可能方式可能是元强化学习目标的形式。这可以允许快速适应。因此，我们将在与Oracle的3个闭环交互中优化性能。这也可以通过训练RL ^ 2 LSTM来完成，后者接收先前的尝试反馈作为输入。以下是一些进一步的挑战见解： 必须进行适应性或程序综合性的针对特定任务的培训。仅将所有先验硬编码到简单的前馈网络中是不够的。当我们作为人类查看输入-输出对时，我们会立即找出正确的先验条件，以即时解决测试示例。这包括定义解决方案空间的调色板。如果火车输出具有三种类型的唯一数字像素值，则测试输出不太可能具有20。我意识到，当我尝试解决其中一项任务时，我会进行很多跨任务推理。仔细检查假设并执行基于模型的交叉验证。将推理作为重复的假设检验进行构架可能是一个不错的主意。从根本上限制最小化逐像素MSE损失。由于解决方案的评估没有半点错误，即使很小的MSE损失也将导致错误的输出。核心知识很难编码。关系深度学习和几何深度学习提供了令人鼓舞的观点，但仍处于起步阶段。我们远不能通过元学习来模仿进化。尝试解决所有问题的目标过于雄心勃勃（目前而言）。 乔莱特本人建议潜入一个名为“程序综合”的领域。直观地讲，这要求您生成程序以自己解决一些任务，然后在更高级别上学习此类程序。https://platform.twitter.com/embed/index.html?dnt=false&embedId=twitter-widget-0&frame=false&hideCard=false&hideThread=false&id=1228056479854317568&lang=en&origin=https%3A%2F%2Froberttlange.github.io%2Fposts%2F2020%2F02%2Fon-the-measure-of-intelligence%2F&siteScreenName=RobertTLange&theme=light&widgetsVersion=ed20a2b%3A1601588405575&width=500px 所有这些想法仍然留下了一个问题，即对于哪种归纳偏见应稍加开放：用于视觉处理的卷积，用于集合操作的注意力，用于记忆的RNN以及与遮挡/物体持久性作斗争？我为有兴趣开始使用基准测试的每个人草拟了一个小笔记本。你可以在这里找到它。在这里，您可以找到一个kaggle内核，该内核为ARC中的10个任务提供“手动”解决方案程序。 一些结论性思想 我真的很喜欢Geoffrey Hinton的这句话： “未来取决于某些研究生，他们对我所说的一切深表怀疑。” 即使无处不在的反向传播和深度学习的重大突破，这也表达了严重的怀疑。在过去的几天里，我的经历非常谦虚，使很多事情都得到了体现。我喜欢被最近的进展所炒作，但是在ML社区面前也面临着巨大的挑战。当前形式的深度学习绝对不是智能的圣杯。它缺乏灵活性，效率和分布外性能。智能系统还有很长的路要走。ARC基准测试提供了一条很好的途径。因此，让我们开始吧。 PS：挑战进行了3个月。
REALab：概念化篡改问题
智能体学习如何直接刺激其奖励机制，而不是解决其预期任务。在关闭/关闭问题中，智能体会干扰其监督者停止智能体操作的能力。这两个问题有一个共同的代理-监督者破坏了监督者对任务的反馈。我们将此称为篡改问题：当用于描述目标的所有反馈机制均受智能体影响时，我们如何设计追求给定目标的智能体？
为什么降低训练神经网络的成本仍然是一个挑战
本文是我们对AI研究论文的评论的一部分， AI研究论文是一系列探讨人工智能最新发现的文章。 近年来，深度学习已被证明是解决许多人工智能难题的有效解决方案。但是深度学习也变得越来越昂贵。运行深度神经网络需要大量的计算资源，甚至需要更多的训练。 深度学习的成本给人工智能界带来了一些挑战，包括大量的碳足迹和AI研究的商业化。随着人们对云服务器和“边缘设备”上的AI功能的需求不断增加，对具有成本效益的神经网络的需求也在不断增长。 尽管AI研究人员在降低运行深度学习模型的成本方面取得了进步，但降低深度神经网络训练成本的更大问题仍未解决。 麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），多伦多大学矢量研究所和Element AI的AI研究人员最近的工作探索了该领域的进展。在题为“在初始化时修剪神经网络：为什么我们会遗漏标记”的论文中，研究人员讨论了为什么当前最先进的方法无法在不对其性能产生重大影响的情况下降低神经网络训练的成本。他们还提出了未来研究的方向。 训练后修剪深度神经网络 最近的十年表明，一般而言，大型神经网络可提供更好的结果。但是大型的深度学习模型要付出巨大的代价。例如，要训练具有1,750亿个参数的OpenAI的GPT-3，您将需要访问具有非常强大的图形卡的大型服务器群集，成本可能高达数百万美元。此外，您需要数百GB的VRAM和强大的服务器来运行该模型。 有大量的工作证明神经网络可以被“修剪”。这意味着在给定非常大的神经网络的情况下，存在一个较小的子集，可以提供与原始AI模型相同的准确性，而不会对其性能造成重大损失。例如，今年早些时候，一对AI研究人员表明，尽管大型的深度学习模型可以学习预测约翰·康威（John Conway）的《生命游戏》中的未来步骤，但几乎总是存在一个较小的神经网络，可以训练该神经网络执行相同的操作精确完成任务。 培训后修剪已取得很大进展。在深度学习模型遍历整个训练过程之后，您可以放弃许多参数，有时将其缩小到原始大小的10％。您可以根据参数的权重对网络最终值的影响来对参数进行评分，以实现此目的。 许多科技公司已经在使用这种方法来压缩其AI模型，并将其安装在智能手机，笔记本电脑和智能家居设备上。除了大幅降低推理成本外，这还提供了许多好处，例如，无需将用户数据发送到云服务器并提供实时推理。在许多领域，小型神经网络使得在由太阳能电池或纽扣电池供电的设备上进行深度学习成为可能。 尽早修剪神经网络 图片来源：Depositphotos 训练后修剪神经网络的问题在于，它不会削减调整所有多余参数的成本。即使您可以将经过训练的神经网络压缩到原始大小的一小部分，您仍然需要支付训练它的全部费用。 问题是，您是否可以在不训练整个神经网络的情况下找到最佳子网？ 麻省理工学院CSAIL的两位AI研究人员，该论文的合著者Jonathan Frankle和Michael Carbin于2018年发表了一篇题为“彩票假说”的论文，该论文证明了在许多深度学习模型中，存在着一些小的子集可以训练到完全准确。https://www.youtube.com/embed/s7DqRZVvRiQ?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&wmode=transparent 找到这些子网可以大大减少训练深度学习模型的时间和成本。彩票假说的发布引发了对在初始化或训练初期修剪神经网络的方法的研究。 AI研究人员在他们的新论文中研究了一些更广为人知的早期修剪方法：单次网络修剪（SNIP），在ICLR 2019上展示; 在ICLR 2020上展示的梯度信号保存（GraSP）和迭代突触流修剪（SynFlow）。 SNIP的目标是减少对损失最不重要的砝码。GraSP旨在修剪对梯度流有害或影响最小的砝码。作者写道：“ SynFlow反复修剪权重，目的是避免层崩溃，因为修剪会集中在网络的某些层上，过早地降低性能。” 早期神经网络修剪如何执行？ 几种新技术可以在初始化阶段修剪深度神经网络。尽管它们的性能优于随机修剪，但仍未达到pos训练基准。 AI研究人员在他们的工作中将早期修剪方法的性能与两个基准进行了比较：训练后的幅度修剪和彩票倒带（LTR）。幅度修剪是在对神经网络进行充分训练后删除多余参数的标准方法。彩票倒带使用Frankle和Carbin在其早期工作中开发的技术来对最佳子网进行重新训练。如前所述，这些方法证明存在次优网络，但是只有在训练了整个网络之后，它们才存在。这些训练前的修剪方法应该在训练神经网络之前的初始化阶段找到最小的网络。 研究人员还将早期修剪方法与两种简单技术进行了比较。其中之一从神经网络中随机删除权重。检查随机性能对于验证一种方法是否提供了重要的结果很重要。AI研究人员写道：“随机修剪是一种早期修剪的天真方法，其任何新提议都应超越其性能。” 另一种方法是根据参数的绝对权重删除参数。作者写道：“幅度修剪是修剪的一种标准方法，并且是早期修剪的另一个比较幼稚的比较点，”作者写道。 实验是在VGG-16和ResNet的三个变体（两个流行的卷积神经网络（CNN））上进行的。 在AI研究人员评估的早期修剪技术中，没有哪一种早期方法能脱颖而出，并且性能会因所选择的神经网络结构和修剪百分比而异。但是他们的发现表明，在大多数情况下，这些最新方法比粗随机修剪要好得多。 但是，这些方法都无法达到基准训练后修剪的准确性。 总体而言，这些方法取得了一些进展，通常胜于随机修剪。但是，就整体准确性和可以达到完全准确性的稀疏性而言，训练后的进展仍然远远没有达到修剪水平。”作者写道。 研究早期修剪方法 对早期修剪方法的测试表明，它们对随机改组和重新初始化具有强大的抵抗力，这表明它们在目标神经网络中找不到适合修剪的特定权重。 为了测试修剪方法为何表现不佳，AI研究人员进行了几次测试。首先，他们测试了“随机改组”。对于每种方法，他们随机切换从神经网络的每一层中删除的参数，以查看它是否对性能产生影响。如果如修剪方法所建议的那样，它们根据其相关性和影响来删除参数，那么随机切换将严重降低性能。 令人惊讶的是，研究人员发现随机改组对结果没有严重影响。相反，真正决定结果的是它们从每一层去除的权重的数量。 “所有方法在随机洗牌时都可以保持准确性或得到改善。换句话说，这些技术所提取的有用信息不是去除单个权重，而是修剪网络的分层比例，”作者写道，并补充说，尽管分层修剪比例很重要，但并不重要。足够。证明是，训练后的修剪方法可以通过选择特定权重并随机更改它们来达到完全准确性，从而导致修剪后的网络的准确性突然下降。 接下来，研究人员检查了重新初始化网络是否会改变修剪方法的性能。在训练之前，将使用所选分布中的随机值初始化神经网络中的所有参数。以前的工作，包括Frankle和Carbin所做的工作，以及本文前面提到的“生命游戏”研究，都表明这些初始值通常会对培训的最终结果产生重大影响。实际上，术语“彩票”是基于以下事实而创造的：幸运的初始值可以使小型神经网络在训练中达到高精度。 因此，应根据参数值选择参数，并且如果更改其初始值，则将严重影响修剪网络的性能。再次，测试没有显示出重大变化。 “所有早期修剪技术都对重新初始化具有鲁棒性：无论是使用原始初始化还是使用新采样的初始化来训练网络，准确性都是相同的。与 “随机改组，这种对初始化的不敏感可能反映了这些方法用于修剪的信息的局限性，从而限制了性能。” AI研究人员写道。 最后，他们尝试反转修剪后的重量。这意味着对于每种方法，他们都将砝码标记为可移动，而去掉了应该保留的砝码。最终测试将检查用于选择修剪权重的计分方法的效率。SNIP和SynFlow这两种方法对反演显示出极大的敏感性，而其准确性却下降了，这是一件好事。但是，在减去修剪后的权重后，GraSP的性能并没有降低，在某些情况下，它甚至表现更好。 这些测试的关键之处在于，当前的早期修剪方法无法检测到在深度学习模型中定义最佳子网的特定连接。 研究的未来方向 另一个解决方案是在早期训练中执行修剪，而不是进行初始化。在这种情况下，神经网络在被修剪之前会针对特定时期进行训练。这样做的好处是，您可以修剪部分收敛的网络，而不必在随机权重之间进行选择。AI研究人员进行的测试表明，大多数修剪方法的性能会随着目标网络经过更多的训练迭代而提高，但仍低于基准基准。 在早期培训中进行修剪的权衡是，即使成本远低于完整培训，您也必须在这些初始纪元上花费资源，并且您必须权衡并在绩效提升与培训之间做出适当的权衡费用。 AI研究人员在他们的论文中提出了修剪神经网络研究的未来目标。一个方向是改进现有方法或研究新方法，这些方法可以找到特定的权重来修剪，而不是在神经网络层中按比例进行修剪。第二个领域是寻找更好的早期修剪修剪方法。最后，幅度和梯度可能不是早期修剪的最佳信号。“我们应该在早期训练中使用不同的信号吗？我们应该期望在训练初期起作用的信号在训练后期起作用（反之亦然）吗？” 作者写道。 本文中的某些主张遭到了修剪方法的创建者的质疑。Namhoon Lee表示：“虽然我们对我们的工作（SNIP）吸引了很多兴趣并感到非常兴奋，并在Jonathan等人的建议论文中得到了解决，但我们发现论文中的某些说法有些麻烦，” Namhoon Lee牛津大学的AI研究人员，SNIP论文的合著者之一，告诉TechTalks。 … Continue reading 为什么降低训练神经网络的成本仍然是一个挑战
Shakir Mohamed 对“好”的想象，改变的使命
2020年10月29日| 以人为本的AI ·讲座和教程·转型 非常感谢有机会支持2020 TechAide AI4Good会议。这是谈话的内容。您可以在此处找到视频。 问候！今天能与您一起参加2020 TechAide AI4GOOD大会真是太好了。我叫Shakir Mohamed，我的代名词是他/他们。我将本次演讲的标题命名为“美好的想象-改变的使命”，它既是对话，又是挑战：与您互动，考虑如何构建一种新型的AI for Good的关键技术实践实践，当然是今年会议的主题。大会的使命很充实，我感谢组织者给我这样以这种方式支持其慈善宗旨的机会，并希望您能够以任何方式支持这一事业。 在开始时，有一些关于我的事。我是伦敦DeepMind的研究员，也是Deep Learning Indaba的创始人和受托人。您会发现我支持转型和多元化的努力。我会写一些关于统计推断方法的文章，还会写一些关于AI中社会技术因素的文章。能够做到这一点我感到很幸运，特别是因为我发现能够跨学科领域工作并拥有许多不同的研究方法而感到非常高兴。我对这种跨学科的研究方法引起的混杂和混乱的问题和对话的类型感兴趣，因为我相信这是一种我们可以有目的地明确了解我们想在世界上看到的善的方法，特别是在与AI和数字技术的关系。与其探索我的一些技术工作和应用，相反，我将依靠我的工作和经验来回答AI4Good的问题。非常感谢您的宝贵时间，并感谢您与我一起进行接下来的25分钟行程。 “当大规模组织的信息概念悄然出现并成为一种社会控制手段时，人类几乎没有注意到”。我想让你猜猜这是什么时候写的。鉴于新闻越来越引起人们的关注，而且最近的奖学金令人难以置信，您可能会猜到这是最近二十年来对算法危害的最新描述。你会错的。这是埃德温·布莱克（Edwin Black）对1900年世界的描述，是打孔卡的发明以及自动化和数据收集的新潮流。 在此期间，鲜为人知的计算和统计领域（今天的AI领域的支柱）变得具有强大的能力，可以对大量数据进行分类。借助增强的统计能力，我们现在能够在国家和大洲的范围内准确，准确地识别出感兴趣的对象，评估相互竞争的选择之间的权衡，组织最佳行动顺序，并最终审核任何选定行动方式的效率。 这几乎对每个部门都是一个福音。美好的可能性以及对现在可能出现的新型期货的想象一定令人振奋。与今天的AI技术专家和科学家一样。但是，如果这种增强的统计能力以及新的行动和效率被用于谋杀犹太人民，该怎么办？ 统计数据和那个时代的技术产业就是这样进入黑暗阶段，走向邪恶目的和种族灭绝的。正如爱德温·布莱克（Edwin Black）的法医证据所示，对于纳粹官员和整个第二次世界大战，统计数据变得“对帝国至关重要”，帝国政府希望“为和平与战争中的新任务提供统计数据”。通过从工作环境中抽象出来，计算科学不加批判地改进了其方法，以提高准确性，效率和财务利润，并导致数以百万计的人死亡。历史提醒我们，技术发展趋向于寄予厚望，并伴随着残酷的能力。我们还记得我们人工智能领域的基础吗？ 我在讲这个故事是为了就近年来围绕AI4Good项目引发的许多担忧展开讨论。关于AI4Good的关注和反对很多。这些包括： 宠物项目评论。AI4Good的标志下的项目不过是研究人员在应用领域的宠物项目，没有任何实际影响的意图。 炒作批评。AI4Good提出了对世界充满希望的社会的技术乐观主义和技术解决主义观点，但是很少有证据表明情况确实如此。 剥削批评。AI永久项目是单板，我们将技术产品作为其营销策略的一部分。在这里，永久性AI项目的目的并不是要有意义地学习和与其服务的社区互动，而是掩盖了数据收集和利润的真正目的。 模糊的批评。我们针对AI4Good的方法是没有特定性地制定的，并且在政治或社会变革方面缺乏严格的基础，因此，这种方法始终无法贯彻“善”的含义。 所有这些批评都为我们认真对待提供了强有力的证据。就像统计数字和德国帝国的故事一样，这些批评动摇并破坏了我们作为技术设计师的信心-使我们有可能将我们的工作转而牵涉到伤害。对我来说，这破坏了我们作为科学家和技术专家的信心，这必须成为我们创建负责任的AI4Good堂兄的方法的一部分。当我们使用“好”这个词时，责任必须是我们所有人都想并希望表达的意思。 如果对AI4Good的项目一无所知，那将是错误的。我们确实找到了许多伟大作品的例子，这些例子深深地激发了我们探索当代AI的可能性。当我们找到这些实例时，它们便指出了已经可能发生的变化之路。我想举三个例子，对您的好问题进行更深入的探讨。 第一个挑战是记录和提供与侵犯人权有关的证据基础。国际特赦组织表明，将遥感数据与人工智能相结合可以成为扩大人权研究范围的有力方法。在他们的工作中，他们能够发现被忽视的虐待行为，并且通过对大量图像进行分类和分类，可以记录例如村庄毁坏和虐待的速度和程度。通过这种方式，我们看到了以我们希望的所有方式开发的技术工具，可以支持特定的需求领域。 在全世界，十分之九的人呼吸不干净的空气。不幸的是，这主要发生在低收入国家。这是AirQo出色的工作之所在，它使用定制的低成本传感器网络来提供准确的空气质量预测，该网络收集了乌干达65个地点的数据。在COVID大流行中，非药物干预是我们都已敏锐意识到的概念，空气质量预测为此类干预提供了另一条途径。这项令人难以置信的工作的力量在于它有潜力帮助公民和政府更好地计划和减轻不断变化的环境状况，而这些正是我们将继续需要越来越多的政策支持的类型。 塞伦盖蒂-马赛马拉生态系统是世界上最后的原始生态系统之一，也是世界上最大的动物迁徙之一。Snapshot Serengeti的这个项目使用相机陷阱中的图像来帮助保护主义者了解哪种管理策略最有效地保护了将该地区称为家园的物种。机器学习有助于加速对收集的图像的研究和分析，有助于发展新的生态功能理论，并更好地理解塞伦盖蒂动物的秘密生活。我很幸运在2019年访问了该地区，我想我应该分享这段关于我对自然奇观的体验的视频。 在讨论过程中，请分享您自己的项目示例，这些示例阐明了什么是可能的和好的。我在这里选择的三个示例的一个共同特征是，它们以明确的变革使命为中心。加强人权证据的特派团，以更好的环境理解支持公共卫生的特派团，维护世界原始生态系统的特派团。这些示例与寻求实现AI4Good的项目无关。对他们而言，AI4Good是努力实现明确的变革使命的结果。这是我要与您进行的第一点对话：我们可以通过首先并且始终将我们支持的变革使命作为中心，制定可能破坏我们作为技术设计师的信心的策略，从而解决AI4Good的批评。 对于在慈善和非政府部门工作的任何人来说，这都是众所周知的，从他们的经验和方法论中我们可以学到很多东西。我很幸运能成为一个集体的一员，以探索和发展我们在短文中写到的这些思维方式。在这些领域中使用的关键工具是发展和传播变革理论。变革理论通常以图表的形式传达，将我们正在研究的部门的当前状态映射到我们希望在世界上看到的期望的变革。尽管变革理论是慈善领域的要求，但我认为它可以作为塑造研究和AI4Good的工具发挥强大作用。 通过使用变革理论，我们可以直接解决我之前回顾的批评。通过明确规定变革的使命，我们确保在工作开始时，然后在任何项目的整个生命周期中，就构成工作中良好定义的政治和社会基础进行讨论。善的定义便与变革使命联系在一起。众所周知，对于任何一项工作，还存在相互竞争的因素和方法，并且通过绘制从当前状态到期望的愿景的路径，这些替代方案也得到了讨论和讨论。同样重要的是，变革理论要认识到我们并不是一个人工作，而且我们不是我们工作的任何领域的唯一参与者。因此，谦虚的态度很重要， 最后一点尤为重要，因为它强调了衡量在评估是否达到良好结果方面的作用，并且明确了受益人和谁被忽略：评估对谁有益的结果。变革理论旨在成为从计划，干预措施到措施和结果的因果图。在绘制此变化过程的图表时，可以考虑因果链中每个位置的度量。虽然，测量很困难。 今天，可持续发展目标对我们来说是为人工智能造福社会的重要指南来源之一。可持续发展目标的优点之一是，它们在17个目标中配备了210项措施。同时，这是对可持续发展目标的批评之一，质疑这些措施的有效性，可靠性和频率，以支持报告和变更。在这一一般领域，我们很幸运能够利用慈善部门开发的有关监测和评估的知识和专长。顺便说一句，我认为变革理论通常是研究计划的有力工具， 现在切换一下齿轮。我现在想向您提出的问题很简单：全球AI是否真正全球化？这是一个提示性的问题，因为在大多数情况下，人工智能不是全球性的。相反，它是本地化的，包含在特定的个人，组织和国家中。也许我们也可以说全球科学。通过将不同国家的研究人员数量视为一个粗略的代表，我们可以阐明这一点。在英国，或者在类似国家（例如德国或美国），每100万人中大约有4000名研究人员。在我引以为傲的南非，这个数字是百万分之400。在加纳，这一数字接近百万分之40。 作为变革理论的宏伟愿景的一部分，很容易产生一种普遍适用的观点以及我们希望最终开发的技术优势的诱惑。但是，对研究人员人数的简单回顾表明，目前对全球知识的贡献还远远不够统一。因此，对于AI通用性的任何观点都需要受到更深层次的质疑，并且从这一认识开始，我们可以对AI4good项目进行更深入的理论分析。 由于许多AI4Good项目都是针对社会，人道主义或发展需求的，因此有关他们如何想象，理解和使用知识的问题成为了审讯的核心领域。我们的认识论基础以及对知识的隐性持有和毫无疑问的信念，在进行研究和部署时所表现出的态度中展现了自己。 态度1-知识转移。就其性质而言，AI4good项目隐式或显式地承认知识和专业知识在世界上是不平衡的。对于AI4Good来说，我们的部分工作似乎是为了帮助知识从权力中心（如研究实验室）迁移到缺乏知识的地方。 态度2-仁慈。出现的一种隐含态度是，在缺乏信息，知识或技术的情况下，技术开发应由知识渊博的人或有能力的人代表将受其影响或更改的其他人来进行。 态度3-可移植性。应用于任何特定地点或情况的知识和表示被认为同样适用于任何其他情况或地点，并且在任何地方开发的知识计划在其他地方也将同样有效。 态度4-量化。不可避免的对话是，作为比较，评估，理解和预测的工具，对世界进行量化和统计是理解世界的唯一方式。 态度5-卓越标准。作为最后的态度问题，我们是否假设大都会研究实验室内的标准，形式和世界，也就是在我们的知识和技术力量中心内，将成为其他地区未来的典范。 我们每个人都不总是容易质疑这些态度的来历，但这是我们必须做的。这些态度部分是由于我们共同的殖民主义经验迫使我们所有人生活下来的一种较旧的生活方式。殖民主义是在“善”的旗帜下进行的最后和最大的任务之一-表面上是将文明，现代性，民主和技术带给没有文明的人。殖民主义的影响今天继续影响着我们： 在身体上塑造边界的方式，在心理上思考我们对自己和彼此的看法， 在语言上扮演着当今英语作为科学和交流语言的角色， 在殖民时代发明种族主义和种族化以建立人与人之间等级划分的秩序， 从经济角度讲如何在一处提取劳动力，而在另一处产生利润， 在政治，治理和法律以及国际关系的结构内，这些结构仍属于殖民主义的断层线。 我们使用“殖民主义”一词来指代殖民主义的残余以及对当前知识和理解的影响。 因此，我要为您介绍的第二点是与AI4Good的殖民地竞争。殖民主义试图解释殖民者与被殖民者之间权力模式的延续，以及这些关系的当代残余。殖民地质问权力关系如何塑造我们对文化，劳动，主体间性和知识的理解。当好的项目失败时，就会发现家长式，技术解决主义和掠夺性包容的默认态度。 我用来解开与知识有关的态度问题的方法，是遵循一种关于知识非殖民化的特殊思考途径。在这种非殖民化观点下，我们被要求通过强调和认识到以前被边缘化的知识的合法性，来重新评估什么是知识学科的基础。这种认识将导致我们进行通常所说的“非殖民化转弯”，而对于我们的AI领域，我将其表述为关于我们如何重塑作为非殖民化AI领域的工作的问题。 尽管具有殖民权力，但历史记录表明，殖民主义绝不仅仅是强加于人的行为。通常也存在角色互换的情况，大都市必须面对殖民地的知识，并从外围以及治理，权利，管理和政策的所有领域吸取教训。一个逆向监护尽管造成了大量的损失和暴力，但在中心和外围之间建立了联系。通过将这种见解转化为我们可以使用的工具，现代批判性实践寻求使用殖民主义的命令来发展双重愿景：积极确定使反托拉特成为其基础的组成部分的中心和外围，同时还力求消除有害的电源二进制文件：既有力量又受压迫的人，既有大都市和周边地区，又有科学家和人文主义者，有自然和人为的。 反向监护直接谈到了构成知识的哲学问题。在知识的绝对观点和数据观点之间仍然存在张力，一旦获得足够的知识，就可以使我们形成完整且包含世界的抽象，而知识观点则始终是不完整的，并且在不同的情况下会被选择和解释。价值体系。确定什么才算是有效知识，数据集中包括什么以及什么被忽略和毫无疑问是我们作为AI研究人员所拥有的一种力量，这种力量不能被忽视。在这种情况下，殖民主义科学，尤其是反向监护的策略，成为其标志。 反向教学法导致了从家长式统治向团结的殖民主义转变。这给了我们两种直接策略。首先是建立有意义的跨文化对话体系，以及广泛参与技术开发和研究的新模式。跨文化对话是跨文化数字伦理学领域的核心，它询问技术如何支持社会和文化，而不是成为文化压迫和殖民主义的工具。这种对话不是在我们的工作中寻求普遍道德，而是导致多元主义的另一种选择，即所谓的普遍道德。 第二种策略在于我们如何支持新型的政治社区，这些政治社区能够改革现代生活中发挥作用的等级制度，知识，技术和文化体系。作为一种方法，我是对基层组织的支持的热烈拥护者，他们具有创造新形式的理解，加强文化间对话，展示团结和替代社区形式的能力。 我想分享自己的经验，将这种社区理论付诸实践。大约4年前，我是一群人的组成部分，以创建一个名为Deep Learning Indaba的新组织，其任务是在整个非洲大陆加强机器学习。在我们的多年工作中，我们已经能够在非洲各地建立新的社区，建立领导力并认可卓越的人工智能开发和使用。看到非洲各地的年轻人发展自己的想法，第一次展示他们，获得他们的工作认可，并在同龄人中知道他们的问题和方法很重要，这是他们的方式的一部分，这是一种荣幸。正在独特地塑造我们大陆的未来。我很自豪地看到，除了东欧，东南亚，南亚和南美等其他群体也跟随同样的步伐，此外还有其他鼓舞人心的社区群体，例如“黑死病”，“非洲数据科学”，人工智能中的黑人和人工智能中的酷儿：所有人都对其社区负责，并开展基层运动以支持AI，对话和变革。回顾过去的五年，我相信我们现在可以诚实地说，由于这些群体的奉献和牺牲，全球AI现在更加全球化。 当我一起结束旅程时，我想与一个明确的变革使命共享一个问题领域，这构成了今年的Indaba挑战赛。我要您考虑的变革使命是消灭被忽视的热带病（NTD）。约有14亿人口（占世界人口的六分之一）患有一个或多个NTD，他们被忽视是因为他们普遍困扰着世界上的穷人，而且历来没有像其他疾病那样受到广泛的关注。忽视这个词很重要，因为一个非常常见的词句强调：“被忽视的疾病也是被忽视的人民的疾病”。在这里，殖民地的作用很重要，因为我们必须问一个问题，为什么在历史上和现在这样的忽视不仅存在于NTD，而且存在于许多要求AI4Good的地区。 NTD是广泛的疾病类别，在这里我将展示世界卫生组织使用的分类。我们很幸运，2020年对于被忽视的疾病来说是重要的一年，因为世界卫生组织发布了一项重要的新路线图，该路线图建立了对话，连接了专门知识和社区，并阐明了解决这一问题所需的措施。正如世卫组织被忽视疾病负责人Mwelecele Malecela博士几个月前对我说的那样，现在无论是在药物利用领域还是在诊断和诊断领域，机器学习和AI都有机会帮助支持这一重要使命。检测或医师培训。在这个领域有很多事情要做，通过为利什曼病的特定疾病创建任务，深度学习Indaba试图建立董事会联盟以帮助提高认识并鼓励在这一领域的研究：与非洲自己的数据科学竞赛平台Zindi，非洲领先的AI和技术初创公司之一InstaDeep以及DNDi药物合作为被忽视疾病倡议，世卫组织以及其他许多机构，朝着这一方向迈出了第一步。我向您提出的建议是考虑您可以凭借自己的专业知识和关注力来解决此问题的任何部分。 … Continue reading Shakir Mohamed 对“好”的想象，改变的使命
AN #108 为何需要仔细检查人工智能风险的争论
中文版 对齐周报第 108 期 对齐周报是每周出版物，其最新内容与全球人工智能对齐有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 Ben Garfinkel 对人工智能风险的经典争论的仔细检查（Howie Lempel 和 Ben Garfinkel）（由 Asya 总结）：在本播客中，Ben Garfinkel 考察了他对人工智能风险经典的争论持怀疑态度的几个原因（先前在此处进行了讨论（AN＃45）） ）。播客比此摘要具有更多的细节和细微差别。 Ben 认为，从历史上看，很难以一种可以预见的长期方式对变革性技术产生影响 —— 例如，很难看到我们可以在农业或工业化发展方面做些什么会影响到今天的世界。他认为，可以通过解决日益增加的政治动荡或锁定的可能性来获得长期影响的一些潜在途径，尽管他认为目前尚不清楚我们可以采取什么措施来影响锁定的结果，尤其是在遥远的情况下。 在对齐方面，Ben 聚焦于 Nick Bostrom 的《超级智能》（Superintelligence）中概述的标准论证集，因为它们具有广泛的影响力，而且充实。Ben 对这些论点有一些异议： 他认为不会突然跳升至功能极为强大和危险的人工智能系统，并且认为如果能力逐渐提高，我们将有更大的机会纠正出现的问题。 他认为，使人工智能系统具有能力和使人工智能系统具有正确的目标很可能并存。 他认为，仅仅因为有很多方法可以创建具有破坏性的系统，并不意味着创建该系统的工程过程很可能会被那些破坏性的系统所吸引；似乎我们不太可能偶然创建足以破坏人类的破坏性系统。 Ben 还花了一些时间讨论Mesa 优化（AN＃58），这是关于人工智能风险的新论点。他在很大程度上认为，mesa 优化的理由尚未充分充实。他还认为，学习不正确的目标可能是由于系统不够复杂而无法正确表示目标的结果。经过足够的训练，我们实际上可能会收敛到我们想要的系统。 鉴于当前的争论状态，Ben 认为值得 EA 充实有关人工智能风险的新争论，但也认为在人工智能相关主题上没有相对优势的 EAer 不一定要转向人工智能。Ben 认为，我们在人工智能安全和治理上花费的资金比 Alec Baldwin 主演的 2017 年电影《老板宝贝》（Boss Baby）投入更少是一种道德上的愤怒。 Asya 的观点：该播客涵盖了现有论点的令人印象深刻的广度。许多推理类似于我从其他研究人员那里听到的（AN＃94）。我非常高兴 Ben 和其他人花时间批评这些论点。除了向我们展示我们错在哪里，它还帮助我们引导到更合理的人工智能风险场景。 … Continue reading AN #108 为何需要仔细检查人工智能风险的争论
AN #107 目标导向的智能体的收敛工具性子目标
中文版 对齐周报第 107 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 基本的人工智能驱动力 （Stephen M. Omohundro）（由 Rohin 总结）：2008 年的论文介绍了收敛的工具性子目标：除非谨慎避免，否则人工智能系统将“默认”具有这些子目标。对于本文而言，人工智能系统是“具有通过在世界范围内行动而试图实现的目标”的系统，即，它假定系统是目标导向的（AN＃35）。 首先要论证一个足够强大的目标导向的人工智能系统将要自我提升，因为这可以帮助它在（可能很长的）未来更好地实现其目标。特别是，从效用函数由其目标决定的角度出发，它将希望最大化其期望效用，这将使其成为“理性的” 。（这样做的理由是 VNM 定理，以及支持贝叶斯主义和期望效用最大化的各种荷兰赌（Dutch book）论点。） 但是，并非所有修改都对人工智能系统有利。特别是，它将非常希望保留其实用效用函数，因为它决定了将来它将（尝试）完成的工作，并且从当前实用效用函数的角度来看，实用效用函数的任何更改将是一场灾难。同样，它将希望保护自己免受伤害，也就是说，它具有生存动机，因为如果死了就无法实现其目标。 最终的工具性子目标是获取资源并有效地使用资源以实现其目标，因为按照定义，资源几乎可用于多种目标，包括（可能是）人工智能系统的目标。 Rohin 的观点：在本期周报中，我经常提到收敛的工具性子目标，因此似乎我应该对其进行总结。我特别喜欢这篇论文，因为它在 12 年后保存得很好。即使我批评（AN＃44）认为强大的人工智能系统必须是期望效用最大化器的想法，但我仍然发现自己同意本文，因为它假设了目标导向的智能体和那里的原因，而不是试图争论强大的人工智能系统必须以目标为导向。鉴于此假设，我同意此处得出的结论。 技术性人工智能对齐 MESA 优化 内部安全性，外部安全性以及构建安全高级人工智能的建议 （Lucas Perry 和 Evan Hubinger）（由 Rohin 总结）：该播客涵盖了很多主题，特别关注高级机器学习系统中学习到的优化带来的风险（AN＃ 58），以及有关构建安全高级人工智能的11条建议的概述（AN＃102）。 Rohin 的观点：我的摘要很详细，因为在本周报中之前已经强调了许多主题，但是如果你不熟悉它们，那么播客是学习它们的重要资源。 学习人类意图 利用本体感受从视频中模仿学习（Faraz Torabi 等人）（由 Zach 总结）：从观察（IfO）到模仿学习的最新工作使智能体可以从不包含状态和动作信息的视觉演示中执行任务。在本文中，作者对利用本体感受信息，内部状态的知识来创建有效的 IfO 算法感兴趣。与通常仅使用观察向量的 GAIfO 相比，该算法仅允许将图像用于判别，但允许智能体使用内部状态来生成动作。他们在多个 MujoCo 域上测试了他们提出的技术，并表明它优于观察算法的其他模仿技术。 Zach 的观点：我认为很容易忘记观察不一定等同于状态表示。这篇文章很好地提醒了我，在 … Continue reading AN #107 目标导向的智能体的收敛工具性子目标
AN #101 为何我们需要严格度量和预测人工智能进展
中文版 对齐周报第 101 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 Danny Hernandez 在预测人工智能和人工智能驱动力方面的观点（Arden Koehler 和 Danny Hernandez）（由 Rohin 总结）：该播客是对实践预测及度量人工智能及其重要性的一个不错的介绍. 我不会总结在播客中的所有内容，列出其中一部分观点. Danny 谈到了 AI and Compute （AN #7）和 AI and Efficiency（AN #99）里面他在 OpenAI 完成的工作. 前者展示了用于最大规模的实验的算力从 2012 年到 2018 年间提升了 300,000 倍，后者告诉我们在同一时间区间内算法已经能够以 25 倍少的算力达到类似性能（从 2012 年到 2019 年达到 44 倍）. 一件我之前没有意识到的事是 25 倍或者 44 倍因子应被看作是一个松的下界：在其他领域中如语言建模，这个因子实际上更高. 但是更为重要的是，采用的这个方法论不能够给我们建模一个算法的效果来做一些之前我们不能做的事情（这个可以被解释成某些我们可以做大，但需要更多算力）. 可能这个算法进展应该被看作是效率但 100 … Continue reading AN #101 为何我们需要严格度量和预测人工智能进展
AN #102 通过 GPT-3 的元学习和人工智能对齐的完全提议列表
中文版 对齐周报第 102 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 语言模型是少次学习器 （Tom B. Brown 等）（由 Rohin 总结）：最大的 GPT-2 模型（AN＃46）具有 15 亿个参数，自发布以来，人们已经训练了多达 17 种语言模型十亿个参数。本文报告了 GPT-3 的结果，其中最大的模型具有 1,750 亿个参数，比以前的最大语言模型增加了 10 倍。为了消除障碍，它在零次语言建模方面建立了新的技术水平（SOTA）（仅在 Penn Tree Bank 上进行评估，因为其他评估集偶然地是其训练集的一部分）。 本文的主要重点是分析 GPT-3 的少次学习功能。在短暂的学习中，经过最初的训练阶段之后，在测试时会为模型提供少量新任务的示例，然后必须为新输入执行该任务。通常使用元学习或调优来解决此类问题，例如，在测试时 MAML 对新示例采取了一些渐变步骤，以生成针对测试任务进行调优的模型。相比之下，GPT-3 的主要假设是语言是如此多样，以至于要在语言上做得很好就需要适应输入，因此学习的语言模型将已经是元学习器。这意味着他们可以使用他们关心的任务的示例简单地“填装”模型，并且模型可以了解应该执行的任务，然后很好地执行该任务 例如，考虑使用已经解释了含义的新组成单词生成句子的任务。在一个值得注意的示例中， GPT-3 的提示是： “whatpu”是坦桑尼亚产的一种小型毛茸茸的动物。使用单词 whatpu 的句子示例如下： 我们在非洲旅行，我们看到了这些非常可爱的 whatpus。 做一个“farduddle”意味着跳得很快。使用单词 farduddle 的句子的示例是： 给出此提示后，GPT-3 会为“farduddle”生成以下示例语句： 有一天，当我和我的妹妹玩耍时，她感到非常兴奋，开始做这些疯狂的 farduddle。 本文对存在基准的多个下游任务进行了测试（例如，问题解答），并报告了所有这些任务的零射，单射和少射性能。在某些任务上，尽管没有使用基准测试的训练集进行微调，但快照版本设置了新的 SOTA … Continue reading AN #102 通过 GPT-3 的元学习和人工智能对齐的完全提议列表
AN #103 ARCHES：存在性安全的议程和组合自然语言的深度强化学习
中文版 对齐周报第 103 期 对齐周报是每周出版物，其最新内容与全球人工智能对准有关。在此处找到所有对齐周报资源。特别是，你可以浏览此电子表格，查看其中的所有摘要。此处的 音频版本（可能尚未启用）。 TABLE_OF_CONTENTS: TableOfContents 强调 关于人类存在性安全的人工智能研究注意事项 （Andrew Critch 等人）（由 Rohin 总结）：CHAI 之外的研究议程直接处理长期主义者关注的问题：如何预防与人工智能相关的存在性灾难。这与“可证明有益”的概念明显不同：可证明有益的一个关键挑战是定义我们甚至所说的“有益”。相比之下，有一些预防人工智能引起的人类灭绝的途径并不需要了解“有益的”：最易见的是，我们可以进行协调以决不构建可能导致人类灭绝的人工智能系统。 由于重点放在人工智能系统的影响上，因此作者需要为此类人工智能系统重新命名。他们将强大的人工智能系统定义为不受人类控制的人工智能系统，并有可能以至少与整个人类一样具有影响力的方式改变世界。这样的人工智能系统不必是超级智能的，甚至不需要通用人工智能。它可能在狭窄的领域中具有强大的功能，例如技术自主性、复制速度或能够实现优势的社交敏锐度。 根据定义，强大的人工智能系统能够彻底改变世界。但是，人类持续生存有许多条件，而世界上的大多数变革都不会保留这些条件。（例如，考虑地球的温度或大气的成分。）因此，人类灭绝是部署强大的人工智能系统的默认结果，只有在该系统旨在保护人类存在的前提下，才可以避免灭绝人类。相对于其动作的重要性而言，精度很高。他们将未对齐的强大的人工智能系统（MPAI）定义为部署会导致人类灭绝的系统，因此主要目标是避免 MPAI 的部署。 作者将 MPAI 的部署风险分为五个子类别，具体取决于开发人员的信念、行为和目标。人工智能开发人员可能无法预测优势，无法预测未对齐，无法与其他团队协调部署形成 MPAI 的系统，偶然（单方面）部署 MPAI 或有意（单方面）部署 MPAI。还有一些危险的社会条件可能会增加风险的可能性，例如不安全的种族发展、人类的经济转移、人类的软弱无力以及完全避免谈论存在性风险。 从风险转到解决方案，作者根据他们所考虑的设置沿三个轴对研究方向进行了分类。首先，有一个或多个人；第二，有一个或多个人工智能系统；第三，它是否帮助人们理解，指导或控制人工智能系统。因此，多/单指令将涉及多个人指令一个人工智能系统。尽管我们最终将需要多重/多重场景，但是前面的情况是较容易解决的问题，从中我们可以获取有助于解决一般多重/多重情况的见解。同样，理解可以帮助指导，两者都可以帮助控制。 然后作者继续列出 29 个不同的研究方向，在此不再赘述。 Rohin 的观点：我喜欢本文的摘要和介绍部分，因为它们直接说明我们想要和关心的内容。我也非常赞成可证明有益和降低存在性风险与单/多分析之间的区别。 应用于通用智能体的人为脆弱性论点有些棘手。一种解释是，“硬度”源于这样一个事实，即您需要一堆“位”的知识/控制权才能使人保持周围。但是，似乎一般智能的AI应该可以轻松地使人类“愿意”，因此人工智能中已经存在这些东西。（作为类比：我们对环境进行了很大的改变，但如果愿意的话，我们可以轻松地保护鹿的栖息地。）因此，这实际上是一个问题，即你期望人工智能系统是从哪个“分布”中取样的：如果你认为我们将构建尝试做人类想要的人工智能系统，那么我们可能还不错，但是如果你认为会有多个人工智能系统可以各自满足用户的需求， 研究方向非常详细，尽管有些建议对我来说似乎并不是特别有用，但总的来说，我对这份清单感到满意。（正如论文本身所指出的，有用和不有用取决于你的人工智能发展模型。） 通过从文本中进行转移学习来进行深度强化学习的人类教学 （Felix Hill 等人）（由 Nicholas 总结）：本文提出了“从文本转移到人的模拟指令”（SHIFTT）方法，用于训练强化学习智能体以自然语言接收来自人类的命令。解决此问题的一种方法是训练强化学习智能体基于模板响应命令。然而，这对于人类如何改变命令表达方式的微小变化并不健壮。相反，在 SHIFTT 中，你从诸如 BERT 之类的经过预先训练的语言模型开始，并首先通过该语言模型提供模板化命令。然后将其与愿景输入相结合以制定策略。人工命令随后通过相同的语言模型进行反馈，他们发现该模型即使在结构上有所不同，也可以零人工迁移到人工命令。 Nicholas 的观点：自然语言是一种非常灵活，直观的向人工智能传达指令的方式。在某些方面，这将对齐问题从强化学习智能体转移到了受监督的语言模型，后者仅需要学习如何正确解释人类语音背后的含义。这种方法的一个优势是，语言模型是经过单独训练的，因此可以在用于训练强化学习智能体之前对其进行安全性标准的测试和验证。它可能比诸如奖励模型等替代方案更具竞争力，而替代方案则需要为每个任务训练新的奖励模型。 但是，我确实看到了这种方法的一些缺点。首先是人类并不擅长以自然语言表达其价值观（例如，迈达斯国王希望他所接触的一切变成黄金），自然语言可能没有足够的信息来传达复杂的偏好。即使人类给出了准确正确的命令，语言模型也需要正确验证这些命令。由于当前的语言模型难以解释并且包含许多有害的偏见，因此这可能很困难。 参与中的基础语言 （Corey Lynch等人）（由Robert总结）：本文提出了一种在机器人技术中学习遵循自然语言人类指导的新方法。它建立在与从游戏中学习潜伏计划（AN＃65）类似的思想的基础上，它使用了无监督的“参与”数据（人类在机器人上玩游戏的轨迹，自身并没有目标）。 本文结合了一些想法，以使训练策略可以遵循自然语言的说明，并且仅提供有限的人工注释。 在 Hindsight … Continue reading AN #103 ARCHES：存在性安全的议程和组合自然语言的深度强化学习
