Ramana Kumar, DeepMind
Translated by Xiaohu Zhu, University AI

我们写了一篇论文，将用来设计安全通用人工智能（AGI）的各种框架（例如，带有奖励建模的强化学习，合作式逆强化学习 CIRL，辩论 debate 等）表示为因果影响图（CID），以帮助我们比较框架并更好地理解相应的智能体激励机制。

我们很乐意收到评论，特别是关于
1. 介绍的框架是否可以被准确表示？
2. CID表示有用吗？
3. 我们没有包含的框架建模成这种模型有用吗？

论文的摘要：安全的通用人工智能系统（AGI）的提议通常在框架层面进行，规定了如何训练所提议系统的组件并相互交互。在本文中，我们使用因果影响图来模拟和比较最有希望的 AGI 安全框架。图显示了框架的优化目标和因果假设。统一的表示可以让我们轻松地比较框架及其假设。我们希望这些图可以作为主要 AGI 安全框架的一个易接受和可视化的介绍。

本文对齐论坛地址

本文论文地址