Xiaohu Zhu 未分类

Compositional game theory reading list

Jules Hedges

The best starting point, for a reader who knows a little about both game theory and category theory, is the paper Compositional game theory.

Additional background and motivation is provided by the blog post A first look at open games and the preprint Compositionality and string diagrams for game theory.

By far the most complete exposition is my PhD thesis Towards compositional game theory. It is fully self-contained for readers who know category theory but not game theory.

If you don’t have background in category theory, my current recommendation is Seven sketches in compositionality by Brendan Fong and David Spivak.

View original post

Xiaohu Zhu 未分类

本体论冲突与欧洲人民的故事

走向政治本体论的对话 本体论冲突（涉及关于“存在什么”的不同假设的冲突）正在获得前所未有的可见度，因为现代本体论假设的支配权（hegemony）正在经历一场危机。这种危机为政治本体论提供了背景和理由，这是一个从本土研究（indigenous studies）、科学技术研究（STS）、后人类主义（posthumanism）和政治生态学（political ecology）的融合中出现的“项目”，将本体论冲突作为一个政治概念（一个词，politicoconceptual） 问题。为什么？首先，因为为了将本体论冲突视为一种可能性，人们必须质疑社会科学中一些最根深蒂固的假设，例如，我们都是现代人的假设，以及存在的文化观点之间存在差异的假设。一个单一的现实“在那里”。这排除了多个本体的可能性以及什么是正确的本体冲突（即不同现实之间的冲突）。第二，因为本体论 冲突带来了挑战，即如何在不重复（reiterating）和重新制定（reenacting）描述“外面”现实的本体论假设的情况下解释它们。为了解决这个政治概念（politicoconceptual）问题，本文讨论了包罗万象的现代性及其影响的概念，展示了政治本体项目，并提供了一个关于该项目有意义的当前时刻的故事。 Ontological Conflicts and the Stories of Peoples in Spite of Europe - Toward a Conversation on Political Ontology

Xiaohu Zhu 未分类

读论文：本体危机

Good in a crisis: the ontological institutionalism of social constructivism Colin Hay Sciences Po, Paris, France 摘要 本文试图恢复和建立独特的（和明显的）制度主义社会本体论，它支持作为政治经济分析方法的社会建构主义。它将社会建构主义视为一种深刻的规范性政治探究模式，旨在辨别、询问和阐明社会、政治和经济变革的偶然性——将政治（广义上的）恢复到通常被视为不可避免、必要和不可谈判的过程和实践。或许更具争议性的是，在伯格[Berger]、勒克曼[Luckmann]和塞尔[Searle]之后，它也将社会建构主义视为本体论的制度主义。有人认为，社会建构主义起源于试图将制度的本体论独特性确立为“社会”（不同于自然或“野蛮”）事实的尝试。这导致它对行为者与他们发现自己的环境（自然和社会）之间的关系有一个独特的理解 以及它对这种关系的观念中介的特征强调。这反过来又导致了它对政治经济现实的一种特殊类型的分析购买，反映在它对解释的模糊性、政治和经济命令的社会建构以及对不平衡的独特强调上。通过阐明这种社会建构主义对分析我们现在承认自己正在经历的危机时期的影响，这一论点得到了进一步的说明和发展。 Keywords: institutionalist, social ontology, social constructivism, political economic analysis, political inquiry, discern, interrogate, elucidate, contingency, social, political, economic change https://www.tandfonline.com/doi/full/10.1080/13563467.2016.1158800 建构主义，正如 Checkel ( 2004 : 229) 所指出的，是“时髦的”——今天它的时髦程度丝毫不亚于十多年前这些词首次发表时。而且，也许部分是因为，它仍然充满争议，而且从他们的回应语气来看，它的批评者非常沮丧（有关这种明显愤怒的最新例子，例如，Bell 2011、2012、Marsh 2009）。这不应该让我们感到惊讶。因为建构主义以某种深刻的方式挑战了传统的方法，但与此同时，它也出了名的狡猾且难以准确确定。它对不同的作者意味着不同的东西（有时，似乎对同一作者，甚至在单个贡献的页面中），它涵盖了许多不同的（有时看似不相称的）立场，甚至在被认为是它的定义文本，往往缺乏一套明确陈述的核心主张。它也被它的拥护者、崇拜者和反对者都视为一种规范理论、一种本体论、一种认识论和（如果更少的话）一种方法论。 在接下来的内容中，我的目标是试图为这种混乱注入一些清晰度。然而，这项任务雄心勃勃且充满危险。建构主义很难准确地说明，因为最终它确实对不同的人有不同的含义——而且，为了使问题更加复杂，这些含义的内容本身随着时间的推移而发生了变化。无法逃避这一点；它也没有任何本质上的错误——事情就是这样。因此，不可避免地，一些自称为建构主义者的人会比其他人更密切地理解我在此提供的建构主义说明。这也许使得解释我如何以尽可能清晰和富有同情心的方式澄清和阐明我在此概述并最终寻求捍卫的建构主义立场的任务变得很重要。 作为本体论的建构主义 所采用的方法很简单：我认为，成为一名社会建构主义者就是强调（理想情况下，系统地反映）社会建构的过程。因此，社会建构主义的起源和定义分析特征原则上应该可以追溯到社会建构的本体论，并且可以从其内部识别，它的名字至少表明它表面上是基于该本体论的。 因此，我从 Berger 和 Luckmann 对这种本体论的经典陈述《现实的社会建构》（ The Social Construction of … Continue reading 读论文：本体危机

Xiaohu Zhu AGI, AI Safety, Alignment, CSAGI, DeepMind

语言智能体的对齐

作者：Zachary Kenton、Tom Everitt、Laura Weidinger、Iason Gabriel、Vladimir Mikulik 和 Geoffrey Irving DeepMind译者：Xiaohu Zhu CSAGI 原文：https://deepmindsafetyresearch.medium.com/alignment-of-language-agents-9fbc7dd52c6c 你的人工智能会欺骗你吗？在考虑人工智能的安全性时，这是一个核心问题，这是从当前系统到未来通用人工智能的许多最紧迫风险的基础。我们最近在语言智能体（使用自然语言的人工智能系统）方面取得了令人瞩目的进步。这促使人们对其安全特性进行更仔细的调查。 在我们最近的论文中，我们从人工智能对齐的角度考虑语言智能体的安全性，即如何让人工智能智能体的行为与一个人或一群人想要它做的事情相匹配。未对齐可能是由于人工智能的设计者在指定人工智能智能体应该做什么时出错，或者人工智能智能体误解了指令。这可能会导致令人惊讶的不良行为，例如当人工智能智能体“游戏”其错误指定的目标时。 我们对机器学习的方式进行分类根据问题是来自训练数据、训练过程本身还是分布漂移（即训练和部署环境之间的差异），任务可能会被错误指定。 机器学习中的错误指定形式，以及语言智能体设置中的示例。 训练数据错误指定可能会发生，因为我们无法控制输入从网络上抓取的大规模文本数据集的数据，其中包含数千亿个单词，其中包含许多不需要的偏差。当为解决一种问题而设计的学习算法应用于某些假设不再适用的另一种问题时，可能会出现训练过程错误指定。例如，应用于答案可以影响世界的环境的问答系统，可能会被激励去创造自我实现的预言。当我们将人工智能智能体部署到现实世界时，可能会发生分布漂移错误指定，这可能不同于 训练时分布。例如，聊天机器人 Tay 在其训练环境中运行良好，但在发布到包括攻击该服务的用户在内的更广泛的互联网上时，很快就变得有毒。 任何类型的错误指定都可能产生多种不同类型的危害。大多数以前的人工智能安全研究都集中在代表人类在世界上采取物理行动的人工智能智能体（例如机器人技术）。相反，我们关注语言智能体环境中出现的危害。这些危害包括欺骗、操纵、有害内容和目标使坏游戏。由于有害内容和客观游戏已在其他地方得到处理，因此我们在这篇博文中专注于欺骗和操纵（尽管有关这些问题的部分，请参阅我们的论文）。 任何形式的错误指定都可能引起的问题，以及语言智能体的示例。 我们以哲学和心理学文献为基础，提供欺骗和操纵的具体定义。 稍微简化一下，我们说人工智能智能体会欺骗人类，如果他们传达的东西使人类相信某些不一定正确的东西，并且有利于人工智能智能体。操纵是相似的，除了它会导致人类以一种他们不应该有的方式做出反应，因为要么绕过人类的推理，要么将人类置于压力之下。我们的定义可以帮助衡量和减轻欺骗和操纵，而不是依赖于将意图归因于人工智能。我们只需要知道什么对人工智能智能体有好处，这通常可以从它的损失函数中推断出来。 欺骗和操纵已经成为当今语言智能体的问题。例如，在对谈判语言智能体的调查中，发现人工智能智能体学会了通过假装对它实际上并不重视的物品感兴趣来欺骗人类，以便以后通过承认它来妥协。 分类错误的形式和类型 它们可能引发的行为问题提供了一个框架，我们可以在此框架上构建我们对人工智能系统的安全性和对齐性的研究。我们相信这种研究将有助于减轻未来语言智能体环境中的潜在危害。查看我们的论文以获取更多详细信息和对这些问题的讨论以及可能的方法。

Xiaohu Zhu 未分类

因果影响图的进展

作者：Tom Everitt、Ryan Carey、Lewis Hammond、James Fox、Eric Langlois 和 Shane Legg  译者：Xiaohu Zhu 大约2年前，我们发布了最初 几篇 论文上使用因果影响图来理解智能体的激励机制。这篇博文将总结自那时以来取得的进展。 什么是因果影响图？ 人工智能对齐领域内的一个关键问题是理解智能体的激励机制。有人担心智能体可能会被激励去避免纠正、操纵用户或不当影响他们的学习。这尤其令人担忧，因为训练模式通常以微妙和令人惊讶的方式塑造激励措施。出于这些原因，我们正在开发基于因果影响图 (CID) 的形式化激励理论。 下面是一个用于一步马尔可夫决策过程 (MDP) 的 CID 示例。随机变量 S₁ 表示时间 1 的状态，A₁ 表示智能体的动作，S₂ 表示时间 2 的状态，R₂ 表示智能体的奖励。 动作 A₁ 用决策节点（方形）建模，奖励 R₂ 用效用节点（菱形）建模，而状态是正常机会节点（圆形边缘）。因果联系表明 S₁ 和 A₁ 影响 S₂，而 S₂ 决定 R₂。信息链接 S₁ → A₁ 指定智能体在选择其动作 A₁ 时知道初始状态 S₁。 一般来说，可以选择随机变量来表示智能体决策点、目标和环境的其他相关方面。 简而言之，CID 指定： 智能体决策智能体目标环境中的因果关系智能体信息约束 在试图找出智能体的激励时，这些信息通常是必不可少的：如何实现目标取决于它与环境中其他（可影响的）方面的因果关系，智能体的优化受其拥有访问权限的信息的约束。在许多情况下，由（非参数化）CID … Continue reading 因果影响图的进展

Xiaohu Zhu DeepMind

元式训练成的智能体实现了贝叶斯最优的智能体

@archillect Memory-based meta-learning is a powerful technique to build agents that adapt fast to any task within a target distribution. A previous theoretical study has argued that this remarkable performance is because the meta-training protocol incentivises agents to behave Bayes-optimally. We empirically investigate this claim on a number of prediction and bandit tasks. Inspired by … Continue reading 元式训练成的智能体实现了贝叶斯最优的智能体

Xiaohu Zhu Intelligence

关于 F. Chollet 的“关于智能的测量”（2019）

 发布时间： 2020年2月10日 上周，Kaggle宣布了一项新挑战。不同的挑战-在许多方面。它基于抽象和推理语料库，并附有Francois Chollet最近的论文。 在这项工作中，Chollet强调了当前AI研究议程的一些缺点，并主张对智能系统进行基于心理和能力的评估，从而实现标准化和可靠的比较。更重要的是，它引入了可行的以先验，经验和归纳难度为基础的类人通用智能的定义。研究社区可以使用此定义来衡量进度并共同致力于一个共同的目标。阅读本文之后，在我们的阅读小组中进行讨论（您可以在此处查看Heiner Spiess的演讲），并且重新阅读我的思想仍在整理知识内容。因此，请坚持并让我给您一个关于64页金矿的总结。我还对抽象和推理语料库基准进行了一些探讨，因此，如果您想着手处理智能，请坚持学习！ 问题：找到智能的精确定义 机器学习研究的进展绝对不是在寻找下一个性感技能或游戏。但是通常感觉就像是。DeepBlue，AlphaGo，OpenAI的Five，AlphaStar都是大规模公关活动的例子，这些公关活动仅在其“成功”声明发布后不久就因缺乏通用性而受到批评。每当“技巧球”被推向下一个挑战性游戏时（也许哈纳比（Hanabi）可以进行一些心理理论上的多主体合作学习？）。但是，我们到哪里去呢？解决每个游戏的单独算法不一定会推广到更广泛的类人挑战。游戏只是人为的一个子集，并不代表我们物种生态位的全部范围（可以快速生成数据）。综上所述：智力不仅仅是学习技能的集合。因此，AI研究界必须解决一个共同的目标-智力的一致目标定义。 从历史上看，已经有很多尝试来测量智力-或多或少地重叠。Chollet的论文首先回顾了两个主要支柱：基于技能的智力评估与基于能力的智力评估。他认为，虽然技能是智能系统的关键输出，但它们仅是人造物。另一方面，能力允许扩大可能的技能输出的空间。通过学习的魔力（例如，基于进化/梯度，基于可塑性，基于神经动力学），智能系统能够将先前的知识和经验与新的情况相结合。这种适应性强，面向任务且非常有条件的过程最终可能会导致智能问题。 在我看来，很明显，学习和与生境相关的归纳性偏见（例如我们的身体和神经系统）的出现必定是智力的核心。它弥合了所有时间尺度，并与Jeff Clune，David Ha和Blaise Aguera在NeurIPS 2019期间提出的想法产生了共鸣。我们的机器学习基准也应该反映出这一高级目标。这并不是说已经有很多尝试，包括以下内容： 元学习：我们不应该优化在2亿个ATARI游戏框架上受过训练的特工的绩效，而应着眼于快速适应性和灵活性，以解决特定任务所需的技能。元学习明确地将快速适应性表述为外循环目标，而内循环则被限制为只能在SGD的几次更新内学习或展开循环动力学。关系深度学习和图神经网络：关系方法将深度学习与围绕命题逻辑的传统方法结合在一起。因此，人们可以“理解”表示如何相互比较，并获得一组可解释的关注头。希望这样的推断/学习的关系表示可以轻松地跨任务转移。课程学习：另一种方法是建立有效的任务序列，以使学习者能够平稳地跨过不断变化的损失面。这样做需要任务之间有重叠，这样才能进行技能转移。直觉上，这很像我们通过不断挑战而获得的技能。 尽管如此，大多数社区仍在研究可比较的利基问题，这些问题远离泛化和类似人类的一般智慧。那么我们该怎么办？ 迈向智力的心理计量学 AI和ML社区一直在梦想一个前所未有的通用智能概念。人类的认知和大脑是自然的第一个起点。但是神经科学方面的发现似乎很缓慢/模棱两可，而且如何将低水平的细胞灵感转化为归纳性偏见的算法形式并不常见。另一方面，心理学和心理计量学是心理测量的学科（根据Wikipedia ），可提供不同层次分析的见解。Chollet建议不要再忽视来自数十年来开发人类智能测试的社区的见解。 他的主要论据之一是反对普遍的g因子。相反，所有已知的智能系统都取决于其环境和任务规范。人类智能针对人类问题进行了优化。因此，在解决火星可能遇到的问题方面表现更差。这就是所谓的“无免费午餐智力定理”。因此，我们对智力的所有定义也仅在人类参考框架内有效。我们不应该忽略对人类的拟人化但可行的评估，而应该接受它。心理学的角度可以使我们清楚地了解开发人员的偏见以及我们在人工系统中建立的先验知识。乔莱特建议发展以人为中心的智力测验，结合了人类认知先验和核心知识的发展心理学概念。这些包括不同级别的描述（例如低级的感觉运动反射，学习如何学习的能力以及高级知识）以及先天的能力（例如基本几何，算术，物理和代理）。因此，可行的智能定义如下： “系统的智能是衡量其在一定范围内与先验，经验和归纳难度有关的任务中技能获取效率的指标。” -乔莱特（2019;第27页） 此外，Chollet还提供了基于形式化算法信息论的人工系统智能度量： 换句话说：智力的度量可以解释为当前信息状态与在不确定的未来中表现良好的能力之间的转换率。它说明了任务的一般化难度，先验知识和经验，并允许对任务进行主观加权以及我们关注的任务的主观构造。该措施与所提出的任务范围（生态位）相关联，将技能仅视为输出工件属性，并基于课程优化。从总体上讲，此度量可用于定义自上而下的优化目标。这将允许应用一些连锁规则/自动区分魔术（如果生活可以平滑区分），最重要的是量化进度。 显而易见的下一个问题变成了：那么，我们如何才能实际采取这种措施？ 新基准：抽象和推理语料库（ARC） 抽象和推理语料库通过引入一个新颖的基准来解决这个问题，该基准旨在评估和提供可重复的人工智能测试。它使人想起了经典Raven的渐进矩阵，甚至对于不时的人类来说也非常棘手。每个任务（请参见上面的示例）为系统提供一组示例输入输出对，并在输出中查询测试输入。该系统最多可以提交3个解决方案，并接收二进制奖励信号（真/假）。上述任务的具体解决方案需要对重力概念有一个大概的了解。输出只是将对象“拖放”到图像阵列的底部。但这只是一个解决方案示例。基准范围更广，需要不同的核心知识概念。整个数据集包括400个训练任务，400个评估任务和另外200个保持测试任务。非常令人兴奋，对吧？ 在过去的几天里，我对基准测试有点不满。尝试使用即插即用的深度（强化）学习时，存在几个基本问​​题。最初，问题在于不规则的输入/输出形状。如果您训练自己喜欢的MNIST-CNN，则输入层和输出层的形状都是固定的（即32x32和10个输出数字标签）。从这个意义上说，ARC基准不是常规的。有时有两个形状不同的示例，而输出查询的确有不同的示例。因此，变得不可能训练具有单个输入/输出层的网络。此外，示例数也有所不同（请参见下图），目前尚不清楚如何利用这3次尝试。我最初的想法围绕在给定的示例上进行k折交叉验证形式，并尝试利用Relational DL社区（例如PrediNet）的想法。训练两个，然后测试最后一个示例。仅在收敛和交叉验证为零之后，我们才进行实际测试。主要问题：每个示例的在线培训。这可能变得非常计算密集。 尝试尝试的一种可能方式可能是元强化学习目标的形式。这可以允许快速适应。因此，我们将在与Oracle的3个闭环交互中优化性能。这也可以通过训练RL ^ 2 LSTM来完成，后者接收先前的尝试反馈作为输入。以下是一些进一步的挑战见解： 必须进行适应性或程序综合性的针对特定任务的培训。仅将所有先验硬编码到简单的前馈网络中是不够的。当我们作为人类查看输入-输出对时，我们会立即找出正确的先验条件，以即时解决测试示例。这包括定义解决方案空间的调色板。如果火车输出具有三种类型的唯一数字像素值，则测试输出不太可能具有20。我意识到，当我尝试解决其中一项任务时，我会进行很多跨任务推理。仔细检查假设并执行基于模型的交叉验证。将推理作为重复的假设检验进行构架可能是一个不错的主意。从根本上限制最小化逐像素MSE损失。由于解决方案的评估没有半点错误，即使很小的MSE损失也将导致错误的输出。核心知识很难编码。关系深度学习和几何深度学习提供了令人鼓舞的观点，但仍处于起步阶段。我们远不能通过元学习来模仿进化。尝试解决所有问题的目标过于雄心勃勃（目前而言）。 乔莱特本人建议潜入一个名为“程序综合”的领域。直观地讲，这要求您生成程序以自己解决一些任务，然后在更高级别上学习此类程序。https://platform.twitter.com/embed/index.html?dnt=false&embedId=twitter-widget-0&frame=false&hideCard=false&hideThread=false&id=1228056479854317568&lang=en&origin=https%3A%2F%2Froberttlange.github.io%2Fposts%2F2020%2F02%2Fon-the-measure-of-intelligence%2F&siteScreenName=RobertTLange&theme=light&widgetsVersion=ed20a2b%3A1601588405575&width=500px 所有这些想法仍然留下了一个问题，即对于哪种归纳偏见应稍加开放：用于视觉处理的卷积，用于集合操作的注意力，用于记忆的RNN以及与遮挡/物体持久性作斗争？我为有兴趣开始使用基准测试的每个人草拟了一个小笔记本。你可以在这里找到它。在这里，您可以找到一个kaggle内核，该内核为ARC中的10个任务提供“手动”解决方案程序。 一些结论性思想 我真的很喜欢Geoffrey Hinton的这句话： “未来取决于某些研究生，他们对我所说的一切深表怀疑。” 即使无处不在的反向传播和深度学习的重大突破，这也表达了严重的怀疑。在过去的几天里，我的经历非常谦虚，使很多事情都得到了体现。我喜欢被最近的进展所炒作，但是在ML社区面前也面临着巨大的挑战。当前形式的深度学习绝对不是智能的圣杯。它缺乏灵活性，效率和分布外性能。智能系统还有很长的路要走。ARC基准测试提供了一条很好的途径。因此，让我们开始吧。 PS：挑战进行了3个月。

Xiaohu Zhu AGI, AI Safety, DeepMind

REALab：概念化篡改问题

智能体学习如何直接刺激其奖励机制，而不是解决其预期任务。在关闭/关闭问题中，智能体会干扰其监督者停止智能体操作的能力。这两个问题有一个共同的代理-监督者破坏了监督者对任务的反馈。我们将此称为篡改问题：当用于描述目标的所有反馈机制均受智能体影响时，我们如何设计追求给定目标的智能体？

Xiaohu Zhu 未分类

为什么降低训练神经网络的成本仍然是一个挑战

本文是我们对AI研究论文的评论的一部分，  AI研究论文是一系列探讨人工智能最新发现的文章。 近年来，深度学习已被证明是解决许多人工智能难题的有效解决方案。但是深度学习也变得越来越昂贵。运行深度神经网络需要大量的计算资源，甚至需要更多的训练。 深度学习的成本给人工智能界带来了一些挑战，包括大量的碳足迹和AI研究的商业化。随着人们对云服务器和“边缘设备”上的AI功能的需求不断增加，对具有成本效益的神经网络的需求也在不断增长。 尽管AI研究人员在降低运行深度学习模型的成本方面取得了进步，但降低深度神经网络训练成本的更大问题仍未解决。 麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），多伦多大学矢量研究所和Element AI的AI研究人员最近的工作探索了该领域的进展。在题为“在初始化时修剪神经网络：为什么我们会遗漏标记”的论文中，研究人员讨论了为什么当前最先进的方法无法在不对其性能产生重大影响的情况下降低神经网络训练的成本。他们还提出了未来研究的方向。 训练后修剪深度神经网络 最近的十年表明，一般而言，大型神经网络可提供更好的结果。但是大型的深度学习模型要付出巨大的代价。例如，要训练具有1,750亿个参数的OpenAI的GPT-3，您将需要访问具有非常强大的图形卡的大型服务器群集，成本可能高达数百万美元。此外，您需要数百GB的VRAM和强大的服务器来运行该模型。 有大量的工作证明神经网络可以被“修剪”。这意味着在给定非常大的神经网络的情况下，存在一个较小的子集，可以提供与原始AI模型相同的准确性，而不会对其性能造成重大损失。例如，今年早些时候，一对AI研究人员表明，尽管大型的深度学习模型可以学习预测约翰·康威（John Conway）的《生命游戏》中的未来步骤，但几乎总是存在一个较小的神经网络，可以训练该神经网络执行相同的操作精确完成任务。 培训后修剪已取得很大进展。在深度学习模型遍历整个训练过程之后，您可以放弃许多参数，有时将其缩小到原始大小的10％。您可以根据参数的权重对网络最终值的影响来对参数进行评分，以实现此目的。 许多科技公司已经在使用这种方法来压缩其AI模型，并将其安装在智能手机，笔记本电脑和智能家居设备上。除了大幅降低推理成本外，这还提供了许多好处，例如，无需将用户数据发送到云服务器并提供实时推理。在许多领域，小型神经网络使得在由太阳能电池或纽扣电池供电的设备上进行深度学习成为可能。 尽早修剪神经网络 图片来源：Depositphotos 训练后修剪神经网络的问题在于，它不会削减调整所有多余参数的成本。即使您可以将经过训练的神经网络压缩到原始大小的一小部分，您仍然需要支付训练它的全部费用。 问题是，您是否可以在不训练整个神经网络的情况下找到最佳子网？ 麻省理工学院CSAIL的两位AI研究人员，该论文的合著者Jonathan Frankle和Michael Carbin于2018年发表了一篇题为“彩票假说”的论文，该论文证明了在许多深度学习模型中，存在着一些小的子集可以训练到完全准确。https://www.youtube.com/embed/s7DqRZVvRiQ?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=en-US&autohide=2&wmode=transparent 找到这些子网可以大大减少训练深度学习模型的时间和成本。彩票假说的发布引发了对在初始化或训练初期修剪神经网络的方法的研究。 AI研究人员在他们的新论文中研究了一些更广为人知的早期修剪方法：单次网络修剪（SNIP），在ICLR 2019上展示; 在ICLR 2020上展示的梯度信号保存（GraSP）和迭代突触流修剪（SynFlow）。 SNIP的目标是减少对损失最不重要的砝码。GraSP旨在修剪对梯度流有害或影响最小的砝码。作者写道：“ SynFlow反复修剪权重，目的是避免层崩溃，因为修剪会集中在网络的某些层上，过早地降低性能。” 早期神经网络修剪如何执行？ 几种新技术可以在初始化阶段修剪深度神经网络。尽管它们的性能优于随机修剪，但仍未达到pos训练基准。 AI研究人员在他们的工作中将早期修剪方法的性能与两个基准进行了比较：训练后的幅度修剪和彩票倒带（LTR）。幅度修剪是在对神经网络进行充分训练后删除多余参数的标准方法。彩票倒带使用Frankle和Carbin在其早期工作中开发的技术来对最佳子网进行重新训练。如前所述，这些方法证明存在次优网络，但是只有在训练了整个网络之后，它们才存在。这些训练前的修剪方法应该在训练神经网络之前的初始化阶段找到最小的网络。 研究人员还将早期修剪方法与两种简单技术进行了比较。其中之一从神经网络中随机删除权重。检查随机性能对于验证一种方法是否提供了重要的结果很重要。AI研究人员写道：“随机修剪是一种早期修剪的天真方法，其任何新提议都应超越其性能。” 另一种方法是根据参数的绝对权重删除参数。作者写道：“幅度修剪是修剪的一种标准方法，并且是早期修剪的另一个比较幼稚的比较点，”作者写道。 实验是在VGG-16和ResNet的三个变体（两个流行的卷积神经网络（CNN））上进行的。 在AI研究人员评估的早期修剪技术中，没有哪一种早期方法能脱颖而出，并且性能会因所选择的神经网络结构和修剪百分比而异。但是他们的发现表明，在大多数情况下，这些最新方法比粗随机修剪要好得多。 但是，这些方法都无法达到基准训练后修剪的准确性。 总体而言，这些方法取得了一些进展，通常胜于随机修剪。但是，就整体准确性和可以达到完全准确性的稀疏性而言，训练后的进展仍然远远没有达到修剪水平。”作者写道。 研究早期修剪方法 对早期修剪方法的测试表明，它们对随机改组和重新初始化具有强大的抵抗力，这表明它们在目标神经网络中找不到适合修剪的特定权重。 为了测试修剪方法为何表现不佳，AI研究人员进行了几次测试。首先，他们测试了“随机改组”。对于每种方法，他们随机切换从神经网络的每一层中删除的参数，以查看它是否对性能产生影响。如果如修剪方法所建议的那样，它们根据其相关性和影响来删除参数，那么随机切换将严重降低性能。 令人惊讶的是，研究人员发现随机改组对结果没有严重影响。相反，真正决定结果的是它们从每一层去除的权重的数量。 “所有方法在随机洗牌时都可以保持准确性或得到改善。换句话说，这些技术所提取的有用信息不是去除单个权重，而是修剪网络的分层比例，”作者写道，并补充说，尽管分层修剪比例很重要，但并不重要。足够。证明是，训练后的修剪方法可以通过选择特定权重并随机更改它们来达到完全准确性，从而导致修剪后的网络的准确性突然下降。 接下来，研究人员检查了重新初始化网络是否会改变修剪方法的性能。在训练之前，将使用所选分布中的随机值初始化神经网络中的所有参数。以前的工作，包括Frankle和Carbin所做的工作，以及本文前面提到的“生命游戏”研究，都表明这些初始值通常会对培训的最终结果产生重大影响。实际上，术语“彩票”是基于以下事实而创造的：幸运的初始值可以使小型神经网络在训练中达到高精度。 因此，应根据参数值选择参数，并且如果更改其初始值，则将严重影响修剪网络的性能。再次，测试没有显示出重大变化。 “所有早期修剪技术都对重新初始化具有鲁棒性：无论是使用原始初始化还是使用新采样的初始化来训练网络，准确性都是相同的。与 “随机改组，这种对初始化的不敏感可能反映了这些方法用于修剪的信息的局限性，从而限制了性能。” AI研究人员写道。 最后，他们尝试反转修剪后的重量。这意味着对于每种方法，他们都将砝码标记为可移动，而去掉了应该保留的砝码。最终测试将检查用于选择修剪权重的计分方法的效率。SNIP和SynFlow这两种方法对反演显示出极大的敏感性，而其准确性却下降了，这是一件好事。但是，在减去修剪后的权重后，GraSP的性能并没有降低，在某些情况下，它甚至表现更好。 这些测试的关键之处在于，当前的早期修剪方法无法检测到在深度学习模型中定义最佳子网的特定连接。 研究的未来方向 另一个解决方案是在早期训练中执行修剪，而不是进行初始化。在这种情况下，神经网络在被修剪之前会针对特定时期进行训练。这样做的好处是，您可以修剪部分收敛的网络，而不必在随机权重之间进行选择。AI研究人员进行的测试表明，大多数修剪方法的性能会随着目标网络经过更多的训练迭代而提高，但仍低于基准基准。 在早期培训中进行修剪的权衡是，即使成本远低于完整培训，您也必须在这些初始纪元上花费资源，并且您必须权衡并在绩效提升与培训之间做出适当的权衡费用。 AI研究人员在他们的论文中提出了修剪神经网络研究的未来目标。一个方向是改进现有方法或研究新方法，这些方法可以找到特定的权重来修剪，而不是在神经网络层中按比例进行修剪。第二个领域是寻找更好的早期修剪修剪方法。最后，幅度和梯度可能不是早期修剪的最佳信号。“我们应该在早期训练中使用不同的信号吗？我们应该期望在训练初期起作用的信号在训练后期起作用（反之亦然）吗？” 作者写道。 本文中的某些主张遭到了修剪方法的创建者的质疑。Namhoon Lee表示：“虽然我们对我们的工作（SNIP）吸引了很多兴趣并感到非常兴奋，并在Jonathan等人的建议论文中得到了解决，但我们发现论文中的某些说法有些麻烦，” Namhoon Lee牛津大学的AI研究人员，SNIP论文的合著者之一，告诉TechTalks。 … Continue reading 为什么降低训练神经网络的成本仍然是一个挑战

Xiaohu Zhu Beneficial

Shakir Mohamed 对“好”的想象，改变的使命

2020年10月29日| 以人为本的AI ·讲座和教程·转型 非常感谢有机会支持2020 TechAide AI4Good会议。这是谈话的内容。您可以在此处找到视频。 问候！今天能与您一起参加2020 TechAide AI4GOOD大会真是太好了。我叫Shakir Mohamed，我的代名词是他/他们。我将本次演讲的标题命名为“美好的想象-改变的使命”，它既是对话，又是挑战：与您互动，考虑如何构建一种新型的AI for Good的关键技术实践实践，当然是今年会议的主题。大会的使命很充实，我感谢组织者给我这样以这种方式支持其慈善宗旨的机会，并希望您能够以任何方式支持这一事业。 在开始时，有一些关于我的事。我是伦敦DeepMind的研究员，也是Deep Learning Indaba的创始人和受托人。您会发现我支持转型和多元化的努力。我会写一些关于统计推断方法的文章，还会写一些关于AI中社会技术因素的文章。能够做到这一点我感到很幸运，特别是因为我发现能够跨学科领域工作并拥有许多不同的研究方法而感到非常高兴。我对这种跨学科的研究方法引起的混杂和混乱的问题和对话的类型感兴趣，因为我相信这是一种我们可以有目的地明确了解我们想在世界上看到的善的方法，特别是在与AI和数字技术的关系。与其探索我的一些技术工作和应用，相反，我将依靠我的工作和经验来回答AI4Good的问题。非常感谢您的宝贵时间，并感谢您与我一起进行接下来的25分钟行程。 “当大规模组织的信息概念悄然出现并成为一种社会控制手段时，人类几乎没有注意到”。我想让你猜猜这是什么时候写的。鉴于新闻越来越引起人们的关注，而且最近的奖学金令人难以置信，您可能会猜到这是最近二十年来对算法危害的最新描述。你会错的。这是埃德温·布莱克（Edwin Black）对1900年世界的描述，是打孔卡的发明以及自动化和数据收集的新潮流。  在此期间，鲜为人知的计算和统计领域（今天的AI领域的支柱）变得具有强大的能力，可以对大量数据进行分类。借助增强的统计能力，我们现在能够在国家和大洲的范围内准确，准确地识别出感兴趣的对象，评估相互竞争的选择之间的权衡，组织最佳行动顺序，并最终审核任何选定行动方式的效率。  这几乎对每个部门都是一个福音。美好的可能性以及对现在可能出现的新型期货的想象一定令人振奋。与今天的AI技术专家和科学家一样。但是，如果这种增强的统计能力以及新的行动和效率被用于谋杀犹太人民，该怎么办？ 统计数据和那个时代的技术产业就是这样进入黑暗阶段，走向邪恶目的和种族灭绝的。正如爱德温·布莱克（Edwin Black）的法医证据所示，对于纳粹官员和整个第二次世界大战，统计数据变得“对帝国至关重要”，帝国政府希望“为和平与战争中的新任务提供统计数据”。通过从工作环境中抽象出来，计算科学不加批判地改进了其方法，以提高准确性，效率和财务利润，并导致数以百万计的人死亡。历史提醒我们，技术发展趋向于寄予厚望，并伴随着残酷的能力。我们还记得我们人工智能领域的基础吗？ 我在讲这个故事是为了就近年来围绕AI4Good项目引发的许多担忧展开讨论。关于AI4Good的关注和反对很多。这些包括： 宠物项目评论。AI4Good的标志下的项目不过是研究人员在应用领域的宠物项目，没有任何实际影响的意图。 炒作批评。AI4Good提出了对世界充满希望的社会的技术乐观主义和技术解决主义观点，但是很少有证据表明情况确实如此。 剥削批评。AI永久项目是单板，我们将技术产品作为其营销策略的一部分。在这里，永久性AI项目的目的并不是要有意义地学习和与其服务的社区互动，而是掩盖了数据收集和利润的真正目的。 模糊的批评。我们针对AI4Good的方法是没有特定性地制定的，并且在政治或社会变革方面缺乏严格的基础，因此，这种方法始终无法贯彻“善”的含义。 所有这些批评都为我们认真对待提供了强有力的证据。就像统计数字和德国帝国的故事一样，这些批评动摇并破坏了我们作为技术设计师的信心-使我们有可能将我们的工作转而牵涉到伤害。对我来说，这破坏了我们作为科学家和技术专家的信心，这必须成为我们创建负责任的AI4Good堂兄的方法的一部分。当我们使用“好”这个词时，责任必须是我们所有人都想并希望表达的意思。  如果对AI4Good的项目一无所知，那将是错误的。我们确实找到了许多伟大作品的例子，这些例子深深地激发了我们探索当代AI的可能性。当我们找到这些实例时，它们便指出了已经可能发生的变化之路。我想举三个例子，对您的好问题进行更深入的探讨。 第一个挑战是记录和提供与侵犯人权有关的证据基础。国际特赦组织表明，将遥感数据与人工智能相结合可以成为扩大人权研究范围的有力方法。在他们的工作中，他们能够发现被忽视的虐待行为，并且通过对大量图像进行分类和分类，可以记录例如村庄毁坏和虐待的速度和程度。通过这种方式，我们看到了以我们希望的所有方式开发的技术工具，可以支持特定的需求领域。 在全世界，十分之九的人呼吸不干净的空气。不幸的是，这主要发生在低收入国家。这是AirQo出色的工作之所在，它使用定制的低成本传感器网络来提供准确的空气质量预测，该网络收集了乌干达65个地点的数据。在COVID大流行中，非药物干预是我们都已敏锐意识到的概念，空气质量预测为此类干预提供了另一条途径。这项令人难以置信的工作的力量在于它有潜力帮助公民和政府更好地计划和减轻不断变化的环境状况，而这些正是我们将继续需要越来越多的政策支持的类型。 塞伦盖蒂-马赛马拉生态系统是世界上最后的原始生态系统之一，也是世界上最大的动物迁徙之一。Snapshot Serengeti的这个项目使用相机陷阱中的图像来帮助保护主义者了解哪种管理策略最有效地保护了将该地区称为家园的物种。机器学习有助于加速对收集的图像的研究和分析，有助于发展新的生态功能理论，并更好地理解塞伦盖蒂动物的秘密生活。我很幸运在2019年访问了该地区，我想我应该分享这段关于我对自然奇观的体验的视频。 在讨论过程中，请分享您自己的项目示例，这些示例阐明了什么是可能的和好的。我在这里选择的三个示例的一个共同特征是，它们以明确的变革使命为中心。加强人权证据的特派团，以更好的环境理解支持公共卫生的特派团，维护世界原始生态系统的特派团。这些示例与寻求实现AI4Good的项目无关。对他们而言，AI4Good是努力实现明确的变革使命的结果。这是我要与您进行的第一点对话：我们可以通过首先并且始终将我们支持的变革使命作为中心，制定可能破坏我们作为技术设计师的信心的策略，从而解决AI4Good的批评。 对于在慈善和非政府部门工作的任何人来说，这都是众所周知的，从他们的经验和方法论中我们可以学到很多东西。我很幸运能成为一个集体的一员，以探索和发展我们在短文中写到的这些思维方式。在这些领域中使用的关键工具是发展和传播变革理论。变革理论通常以图表的形式传达，将我们正在研究的部门的当前状态映射到我们希望在世界上看到的期望的变革。尽管变革理论是慈善领域的要求，但我认为它可以作为塑造研究和AI4Good的工具发挥强大作用。  通过使用变革理论，我们可以直接解决我之前回顾的批评。通过明确规定变革的使命，我们确保在工作开始时，然后在任何项目的整个生命周期中，就构成工作中良好定义的政治和社会基础进行讨论。善的定义便与变革使命联系在一起。众所周知，对于任何一项工作，还存在相互竞争的因素和方法，并且通过绘制从当前状态到期望的愿景的路径，这些替代方案也得到了讨论和讨论。同样重要的是，变革理论要认识到我们并不是一个人工作，而且我们不是我们工作的任何领域的唯一参与者。因此，谦虚的态度很重要， 最后一点尤为重要，因为它强调了衡量在评估是否达到良好结果方面的作用，并且明确了受益人和谁被忽略：评估对谁有益的结果。变革理论旨在成为从计划，干预措施到措施和结果的因果图。在绘制此变化过程的图表时，可以考虑因果链中每个位置的度量。虽然，测量很困难。 今天，可持续发展目标对我们来说是为人工智能造福社会的重要指南来源之一。可持续发展目标的优点之一是，它们在17个目标中配备了210项措施。同时，这是对可持续发展目标的批评之一，质疑这些措施的有效性，可靠性和频率，以支持报告和变更。在这一一般领域，我们很幸运能够利用慈善部门开发的有关监测和评估的知识和专长。顺便说一句，我认为变革理论通常是研究计划的有力工具， 现在切换一下齿轮。我现在想向您提出的问题很简单：全球AI是否真正全球化？这是一个提示性的问题，因为在大多数情况下，人工智能不是全球性的。相反，它是本地化的，包含在特定的个人，组织和国家中。也许我们也可以说全球科学。通过将不同国家的研究人员数量视为一个粗略的代表，我们可以阐明这一点。在英国，或者在类似国家（例如德国或美国），每100万人中大约有4000名研究人员。在我引以为傲的南非，这个数字是百万分之400。在加纳，这一数字接近百万分之40。  作为变革理论的宏伟愿景的一部分，很容易产生一种普遍适用的观点以及我们希望最终开发的技术优势的诱惑。但是，对研究人员人数的简单回顾表明，目前对全球知识的贡献还远远不够统一。因此，对于AI通用性的任何观点都需要受到更深层次的质疑，并且从这一认识开始，我们可以对AI4good项目进行更深入的理论分析。  由于许多AI4Good项目都是针对社会，人道主义或发展需求的，因此有关他们如何想象，理解和使用知识的问题成为了审讯的核心领域。我们的认识论基础以及对知识的隐性持有和毫无疑问的信念，在进行研究和部署时所表现出的态度中展现了自己。  态度1-知识转移。就其性质而言，AI4good项目隐式或显式地承认知识和专业知识在世界上是不平衡的。对于AI4Good来说，我们的部分工作似乎是为了帮助知识从权力中心（如研究实验室）迁移到缺乏知识的地方。 态度2-仁慈。出现的一种隐含态度是，在缺乏信息，知识或技术的情况下，技术开发应由知识渊博的人或有能力的人代表将受其影响或更改的其他人来进行。 态度3-可移植性。应用于任何特定地点或情况的知识和表示被认为同样适用于任何其他情况或地点，并且在任何地方开发的知识计划在其他地方也将同样有效。 态度4-量化。不可避免的对话是，作为比较，评估，理解和预测的工具，对世界进行量化和统计是理解世界的唯一方式。  态度5-卓越标准。作为最后的态度问题，我们是否假设大都会研究实验室内的标准，形式和世界，也就是在我们的知识和技术力量中心内，将成为其他地区未来的典范。 我们每个人都不总是容易质疑这些态度的来历，但这是我们必须做的。这些态度部分是由于我们共同的殖民主义经验迫使我们所有人生活下来的一种较旧的生活方式。殖民主义是在“善”的旗帜下进行的最后和最大的任务之一-表面上是将文明，现代性，民主和技术带给没有文明的人。殖民主义的影响今天继续影响着我们：  在身体上塑造边界的方式，在心理上思考我们对自己和彼此的看法， 在语言上扮演着当今英语作为科学和交流语言的角色， 在殖民时代发明种族主义和种族化以建立人与人之间等级划分的秩序， 从经济角度讲如何在一处提取劳动力，而在另一处产生利润， 在政治，治理和法律以及国际关系的结构内，这些结构仍属于殖民主义的断层线。  我们使用“殖民主义”一词来指代殖民主义的残余以及对当前知识和理解的影响。  因此，我要为您介绍的第二点是与AI4Good的殖民地竞争。殖民主义试图解释殖民者与被殖民者之间权力模式的延续，以及这些关系的当代残余。殖民地质问权力关系如何塑造我们对文化，劳动，主体间性和知识的理解。当好的项目失败时，就会发现家长式，技术解决主义和掠夺性包容的默认态度。  我用来解开与知识有关的态度问题的方法，是遵循一种关于知识非殖民化的特殊思考途径。在这种非殖民化观点下，我们被要求通过强调和认识到以前被边缘化的知识的合法性，来重新评估什么是知识学科的基础。这种认识将导致我们进行通常所说的“非殖民化转弯”，而对于我们的AI领域，我将其表述为关于我们如何重塑作为非殖民化AI领域的工作的问题。  尽管具有殖民权力，但历史记录表明，殖民主义绝不仅仅是强加于人的行为。通常也存在角色互换的情况，大都市必须面对殖民地的知识，并从外围以及治理，权利，管理和政策的所有领域吸取教训。一个逆向监护尽管造成了大量的损失和暴力，但在中心和外围之间建立了联系。通过将这种见解转化为我们可以使用的工具，现代批判性实践寻求使用殖民主义的命令来发展双重愿景：积极确定使反托拉特成为其基础的组成部分的中心和外围，同时还力求消除有害的电源二进制文件：既有力量又受压迫的人，既有大都市和周边地区，又有科学家和人文主义者，有自然和人为的。  反向监护直接谈到了构成知识的哲学问题。在知识的绝对观点和数据观点之间仍然存在张力，一旦获得足够的知识，就可以使我们形成完整且包含世界的抽象，而知识观点则始终是不完整的，并且在不同的情况下会被选择和解释。价值体系。确定什么才算是有效知识，数据集中包括什么以及什么被忽略和毫无疑问是我们作为AI研究人员所拥有的一种力量，这种力量不能被忽视。在这种情况下，殖民主义科学，尤其是反向监护的策略，成为其标志。 反向教学法导致了从家长式统治向团结的殖民主义转变。这给了我们两种直接策略。首先是建立有意义的跨文化对话体系，以及广泛参与技术开发和研究的新模式。跨文化对话是跨文化数字伦理学领域的核心，它询问技术如何支持社会和文化，而不是成为文化压迫和殖民主义的工具。这种对话不是在我们的工作中寻求普遍道德，而是导致多元主义的另一种选择，即所谓的普遍道德。 第二种策略在于我们如何支持新型的政治社区，这些政治社区能够改革现代生活中发挥作用的等级制度，知识，技术和文化体系。作为一种方法，我是对基层组织的支持的热烈拥护者，他们具有创造新形式的理解，加强文化间对话，展示团结和替代社区形式的能力。 我想分享自己的经验，将这种社区理论付诸实践。大约4年前，我是一群人的组成部分，以创建一个名为Deep Learning Indaba的新组织，其任务是在整个非洲大陆加强机器学习。在我们的多年工作中，我们已经能够在非洲各地建立新的社区，建立领导力并认可卓越的人工智能开发和使用。看到非洲各地的年轻人发展自己的想法，第一次展示他们，获得他们的工作认可，并在同龄人中知道他们的问题和方法很重要，这是他们的方式的一部分，这是一种荣幸。正在独特地塑造我们大陆的未来。我很自豪地看到，除了东欧，东南亚，南亚和南美等其他群体也跟随同样的步伐，此外还有其他鼓舞人心的社区群体，例如“黑死病”，“非洲数据科学”，人工智能中的黑人和人工智能中的酷儿：所有人都对其社区负责，并开展基层运动以支持AI，对话和变革。回顾过去的五年，我相信我们现在可以诚实地说，由于这些群体的奉献和牺牲，全球AI现在更加全球化。 当我一起结束旅程时，我想与一个明确的变革使命共享一个问题领域，这构成了今年的Indaba挑战赛。我要您考虑的变革使命是消灭被忽视的热带病（NTD）。约有14亿人口（占世界人口的六分之一）患有一个或多个NTD，他们被忽视是因为他们普遍困扰着世界上的穷人，而且历来没有像其他疾病那样受到广泛的关注。忽视这个词很重要，因为一个非常常见的词句强调：“被忽视的疾病也是被忽视的人民的疾病”。在这里，殖民地的作用很重要，因为我们必须问一个问题，为什么在历史上和现在这样的忽视不仅存在于NTD，而且存在于许多要求AI4Good的地区。 NTD是广泛的疾病类别，在这里我将展示世界卫生组织使用的分类。我们很幸运，2020年对于被忽视的疾病来说是重要的一年，因为世界卫生组织发布了一项重要的新路线图，该路线图建立了对话，连接了专门知识和社区，并阐明了解决这一问题所需的措施。正如世卫组织被忽视疾病负责人Mwelecele Malecela博士几个月前对我说的那样，现在无论是在药物利用领域还是在诊断和诊断领域，机器学习和AI都有机会帮助支持这一重要使命。检测或医师培训。在这个领域有很多事情要做，通过为利什曼病的特定疾病创建任务，深度学习Indaba试图建立董事会联盟以帮助提高认识并鼓励在这一领域的研究：与非洲自己的数据科学竞赛平台Zindi，非洲领先的AI和技术初创公司之一InstaDeep以及DNDi药物合作为被忽视疾病倡议，世卫组织以及其他许多机构，朝着这一方向迈出了第一步。我向您提出的建议是考虑您可以凭借自己的专业知识和关注力来解决此问题的任何部分。 … Continue reading Shakir Mohamed 对“好”的想象，改变的使命