用因果影响图建模通用人工智能安全框架

Ramana Kumar, DeepMind
Translated by Xiaohu Zhu, University AI

我们写了一篇论文,将用来设计安全通用人工智能(AGI)的各种框架(例如,带有奖励建模的强化学习,合作式逆强化学习 CIRL,辩论 debate 等)表示为因果影响图(CID),以帮助我们比较框架并更好地理解相应的智能体激励机制。

我们很乐意收到评论,特别是关于
1. 介绍的框架是否可以被准确表示?
2. CID表示有用吗?
3. 我们没有包含的框架建模成这种模型有用吗?

论文的摘要:安全的通用人工智能系统(AGI)的提议通常在框架层面进行,规定了如何训练所提议系统的组件并相互交互。在本文中,我们使用因果影响图来模拟和比较最有希望的 AGI 安全框架。图显示了框架的优化目标和因果假设。统一的表示可以让我们轻松地比较框架及其假设。我们希望这些图可以作为主要 AGI 安全框架的一个易接受和可视化的介绍。

本文对齐论坛地址

本文论文地址


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s