在此处查找所有Alignment Newsletter资源。特别是，您可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 您可以通过回复此电子邮件将其发送给我。 音频版本 在这里 （可能还没有）。 强调 AI-GAs：AI生成算法，一种生成通用人工智能的替代范例 （Jeff Clune） （由 Yuxi Liu 和 Rohin 总结）：历史上， 痛苦的教训 （AN＃49）告诉我们是那种增加用于学习的算力的方法优于那些积累了大量知识的方法。目前对 AGI 的理念似乎是我们将提出一系列构建模块（例如卷积、变换器、信任区间、GAN、主动学习和课程表法），我们将以某种方式手动组合成一个复杂的强大的 AI 系统。不再需要这种手动方法，而是可以再次应用学习，提供 AI 生成算法或 AI-GA 的范例。 AI-GA 有三大支柱。第一个是 学习架构：这类似于超级动力神经架构搜索，可以在没有任何硬编码的情况下发现卷积、循环和注意力机制。第二是 学习学习算法，即元学习。第三个也是研究得最不充分的支柱是学会 创造复杂多样的环境 来训练我们的智能体。这是元学习的自然延伸：通过元学习，您必须指定智能体应该执行的任务分发; 简单地说 AI-GA 是要学习这种分发。 POET （AN＃41）是该领域最近工作的一个例子。 我对 AI-GA 范式持乐观态度的一个强烈理由是它模仿人类产生的方式：自然选择是一种非常简单的算法，具有 大量 计算和非常复杂多样的环境能够产生通用智能：人类。由于它需要更少的构建块（因为它旨在学习所有东西），它可以比手动方法更快地成功，至少如果所需的计算量不是太高。它也比“手动”方法更容易被忽视。 但是，这里存在安全问题。任何来自 AI-GA 的强人工智能都将难以理解，因为它是通过这种大量计算产生的，所有东西都是习得的，因此很难获得符合我们价值观的 AI。此外，通过这样一个过程，强大的人工智能系统似乎更有可能“让我们感到惊讶” —— 在某些时候及其罕见的情况出现，然后巨大算力得到一个好的随机选择，突然它一下输出一个非常强大和采样高效的学习算法（又称 AGI，至少也需通过一些定义）。还有道德问题，因为我们最终会模仿进化，我们可能会意外地实例化大量可能受到影响的模拟生物（特别是如果环境具有竞争性，就会如同进化的情形那样）。 Rohin 的观点：特别是考虑到算力的 增长 （AN＃7），这个议程似乎是追求获得 AGI 的自然选择。不幸的是，它也非常密切地反映了Mesa … Continue reading AN #63 架构搜索，元学习和环境设计可以怎样去产生通用人工智能？
PapeRman #8
A Baseline for Any Order Gradient Estimation in Stochastic Computation GraphsAuthors: Jingkai Mao, Jakob Foerster, Tim Rocktaschel, Maruan Al-Shedivat 4 Gregory Farquhar, Shimon WhitesonAbstract: By enabling correct differentiation in stochastic computation graphs (SCGs), the infinitely differentiable Monte-Carlo estimator (DiCE) can generate correct estimates for the higher order gradients that arise in, e.g., multi-agent reinforcement learning … Continue reading PapeRman #8
人工智能风险争论的转变
超级智能中的论点结合了三个特征：（i）关注对齐问题，（ii）不连续性假设，以及（iii）得出存在性灾难的结论。
AN #59 对人工智能风险的争论是如何随着时间而改变的
对于AI风险争论的转移 （Tom Sittler）由早期参数为AI安全焦点上存在风险的原因： 有着在AI能力上的尖锐的不连续跳跃的对齐失败。为了争论一个危险的转折，需要不连续性假设，例如：没有不连续性，我们可能会看到能力较弱的 AI 系统无法隐藏他们的错误对齐目标，或者试图欺骗我们而没有成功。同样，为了使 AI 系统获得决定性的战略优势，它需要比已经存在的所有其他 AI 系统更强大，这需要某种不连续性。
AN #58 Mesa 优化：这是什么，为什么我们应该关心它
在此处查找所有Alignment Newsletter资源。特别是，你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 强调 高级机器学习系统中学到的优化的风险 （Evan Hubinger等）：假设你搜索一个程序空间，寻找能够很好地玩 TicTacToe 的程序。最初，你可能会发现一些很好的启发式方法，例如去中心广场，如果你沿着一行有两个，然后放置第三个，等等。但最终你可能会找到 minimax 算法，通过搜索最好的行动从而最优化自身行为。值得注意的是，你对程序空间的外部优化发现了一个程序 本身就是 一个针对可能行动进行搜索的优化器。用本文语言来说，minimax 算法是一个 mesa 优化器：一个由基本优化器自主发现的优化器，在这种情况下的搜索针对所有程序。 为什么这与人工智能有关？嗯，梯度下降是一种优化算法，它搜索神经网络的参数空间，以找到在某个目标函数上表现良好的参数集合。发生同样的事情似乎也很合理：梯度下降可以找到一个本身正在进行优化的模型。那个模型将成为 mesa 优化器，它优化的目标是 mesa 目标。请注意，虽然 mesa 目标应该导致与训练分布上的基目标类似的行为，但它不需要在偏离分布时这样。这意味着 mesa 目标是 伪对齐的 ; 它如果在偏离分布时也导致类似行为，它是 健壮的（Robust）对齐。 人工智能对齐的一个主要担忧是，如果强大的智能体优化了错误的目标，它可能会导致人类的灾难性后果。由于 mesa 优化器的可能性，这种担心加倍：我们需要确保基目标函数与人类对齐（称为 外部对齐）并且 mesa 目标与基目标对齐（称为 内部对齐）。一个特别令人担忧的方面是 欺骗性对齐：mesa 优化器具有长期的 mesa 目标，但知道它正在针对基目标进行优化。因此，它在训练期间优化了基目标以避免被修改，但在部署时，当被修改的威胁消失时，它就只追求 mesa 目标。 下面我们来举例说明动机，如果有人想要创建最好的生物复制器，他们可以合理地使用自然选择/进化作为这个目标的优化算法。然而，这将导致人类的创造，他们将是优化其他目标的 mesa 优化器，并且不优化复制（例如通过使用节育控制）。 本文有更多的细节和分析，哪些因素使得 mesa 优化更有可能，更危险等等。你必须阅读论文了解所有这些细节。一种通用模式是，当使用机器学习解决某些任务 X 时，有许多属性会影响学习启发式或代理的可能性，而不是实际学习针对 X 的最佳算法。对于任何此类属性，使启发式/代理更多可能会导致 mesa 优化的可能性降低（因为优化器不像启发式/代理），但是在 mesa … Continue reading AN #58 Mesa 优化：这是什么，为什么我们应该关心它
PapeRman #8
Note on the bias and variance of variational inference 1906.03708.pdf Evaluating the Robustness of Nearest Neighbor Classifiers: A Primal-Dual Perspective 1906.03972.pdf Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation 1906.04053.pdf Forward and Backward Knowledge Transfer for Sentiment Classification 1906.03506.pdf Zooming Cautiously: Linear-Memory Heuristic Search With Node Expansion Guarantees 1906.03242.pdf What Does … Continue reading PapeRman #8
ICML 2019 Workshops – #1 ERL
Exploration in RL Homepage: https://sites.google.com/view/erl-2019/ The following YouTube playlist has all the talks from the workshop:https://www.youtube.com/playlist?list=PLbSAfmOMweH3YkhlH0d5KaRvFTyhcr30b Slides for all contributed talks are available here:https://docs.google.com/presentation/d/1zkqtsM-GywKN9kzX4r0j-C1SUF5I0N0mgsxpfvJyl7s Open Problems Below is a list of open questions related to exploration in reinforcement learning. We encourage researchers working on any of these problems to submit to our workshop. Is there … Continue reading ICML 2019 Workshops – #1 ERL
ICML 2019 Tutorials
Never Ending Learning Lecturers: Tom Mitchell and Partha Talukdar Video: https://www.facebook.com/icml.imls/videos/1083330081864839/ A Primer on PAC-Bayesian Learning Lecturers: Benjamin Guedj and John Shawe-Taylor Homepage: https://bguedj.github.io/icml2019/index.html Keywords: Statistical learning theory, PAC-Bayes, machine learning, computational statistics Slides are available here. Videos are available here: Part 1 Part 2 Neural Approaches to Conversational AI Lecturers: Jianfeng Gao and Michel Galley Slides: … Continue reading ICML 2019 Tutorials
AN #57 为什么我们应该关注人工智能安全的健壮性和编程中的类似问题
在此处查找所有Alignment Newsletter资源。特别是，你可以注册或查看此电子表格中所有摘要中的摘要。我总是很高兴听到反馈; 你可以通过回复此电子邮件将其发送给我。 强调 设计健壮及可靠的人工智能系统以及如何在人工智能中取得成功 （Rob Wiblin和Pushmeet Kohli） :（对于大篇幅的内容，我只是总结了突出要点，而忽略掉了播客中不相干的整个部分。） 在这个播客中，Rob 深入研究了 Pushmeet 关于使人工智能系统健壮的工作细节 。Pushmeet 并未特别将人工智能安全和人工智能能力区分 —— 构建良好人工智能系统的一部分是确保系统安全、稳健、可靠并且通用性良好。否则，如果它不会做我们想要的，我们为什么还要纠结使用它。他的目标是通过主动搜索违反规格的行为或通过形式验证神经网络的特定属性来提高健壮性。也就是说，他还认为这里面临的主要挑战之一是首先确定要验证的内容的规格。 他认为人工智能中的问题类似于编程和计算机安全中出现的问题。在编程中，通常情况是一个写下来的程序不能准确地匹配预期的规格，从而导致错误。通常我们只是接受这些错误发生，但对于亟需安全的系统，如交通信号灯，我们可以使用测试、模糊测试、符号执行和形式验证等技术，使我们能够在程序中找到这些错误。我们现在需要为机器学习系统开发这些技术。 这个类比可以更进一步。静态分析涉及与任何输入分开理解程序的属性，而动态分析涉及理解具有特定输入的程序。类似地，我们可以具有“静态”可解释性，它可以将模型理解为整体（如在 特征可视化中），或“动态”可解释性，这解释了模型对特定输入的输出。另一个例子是类似于验证神经网络属性的特定方法的程序抽象解释技术。 这个类比表明我们以前就已经面临人工智能安全问题，并且已经取得了实质性进展; 现在的挑战是应用在机器学习系统上。也就是说，通用人工智能系统存在一些独特的问题; 这不仅仅是规格问题。例如，我们应该如何与这样一个系统进行沟通是非常不清楚的，这个系统可能有自己的概念和模型，这些概念和模型与人类的概念和模型非常不同。我们可以尝试使用自然语言，但是如果我们这样做，就需要以人类的方式对自然语言进行研究，并且我们不知道如何做到这一点，尽管我们可以测试学习概念是否可以推广到新的设置。我们也可以试着研究机器学习模型的权重，分析它们是否有学到概念——但这需要我们已经有关于概念的形式化规格，这部分看起来很难获得。 Rohin的观点： 我非常喜欢编程和人工智能之间的这个类比; 通过自己思考这个比喻，我形成了很多想法。我同意这个类比意味着我们正试图解决之前在不同上下文环中曾解决过的问题，但我认为现在存在重大差异。特别是，针对长期人工智能安全，我们正在考虑在哪些错误可以是非常昂贵的设定， 并且 我们无法提供我们想要的形式化式规格。将此与交通信号灯进行对比，其中错误可能非常昂贵，但我猜我们可以提供需要遵守的安全约束的形式化规格。公平地说，Pushmeet 承认这一点，并强调规格学习是研究的一个关键领域，但对我来说，这感觉就像我们面临的先前问题的质的差异，而我认为 Pushmeet 会不同意（但我不确定为什么）。 阅读更多： 导向健壮和经验证的人工智能：规格测试，健壮训练和形式验证 （AN＃52） 技术AI对齐 学习人的意图 观察的感知价值 （Ashley D. Edwards等人） （由 Cody 总结）：本文提出了一种技术，通过假设轨迹中的最后一个状态是达到目标的状态来学习原始专家轨迹观察，并且其他状态的价值与它们与示范轨迹中的终止状态的接近程度成正比。他们使用此作为训练模型预测价值和行动价值的基础，然后使用这些估计值来确定行动。 Cody的观点： 这个想法肯定会得到一个明确且易于实现的启发式点子，但我担心它可能会遇到与其目标导向假设不匹配的视频。 代表性强化学习 （Vanessa Kosoy）：考虑具有“陷阱”的环境：永久限制智能体实现的长期价值的状态。没有人类的世界可能就是这样一个陷阱。如果新状态不像旧状态那样有效获得高回报，那么陷阱也可能在任何不可逆转的行动之后发生。 在这样的环境中，强化学习算法可以简单地不采取任何动作，在这种情况下，它会引起悔值（regret），即到目前为止的时间步数是线性的。（悔值是最优策略下的期望奖励与实际执行的政策之间的差异，因此如果最优政策的每个时间步的平均奖励为2且无所作为总是奖励 0，那么悔值将是 ~2T，其中 T 是时间步数，所以后悔在时间步数上是线性的。）我们能否找到一种RL算法，它能 保证 在时间步长的数量上保持次线性，无论环境如何？ 不出所料，这是不可能的，因为在探索过程中，RL 智能体可能陷入陷阱，导致线性悔值。但是，我们假设我们可以委托一位了解环境的顾问：对于我们做得更好的顾问来说，一定是真的吗？显然，顾问必须能够始终避免陷阱（否则会出现同样的问题）。然而，这还不够：获得次线性悔值也需要我们进行足够的探索以最终找到最优策略。因此，顾问必须至少有一些小的概率成为最优，然后智能体可以从中学习。本文证明，有了这些假设，确实存在一种保证获得次线性悔值的算法。 … Continue reading AN #57 为什么我们应该关注人工智能安全的健壮性和编程中的类似问题
The Landscape of Deep Reinforcement Learning
This is the first Chapter of an open-sourced Deep Reinforcement Learning book. Deep reinforcement learning (Deep RL) can be said to be one of the hottest topics in artificial intelligence (AI), attracting many outstanding scientists in this field to explore its ability to solve tough real-world problems. Deep RL itself is highly respected by various application fields because … Continue reading The Landscape of Deep Reinforcement Learning
