Xiaohu Zhu AGI, AI Safety, DeepMind, Side effects

设计智能体动机机制来避免副作用

针对此问题的一个观点是让智能体从人类反馈中学会避开副作用，如通过 reward modeling。这样做的好处是不必弄清楚副作用的含义，但也很难判断代理何时成功学会避免它们。一个补充方法是定义适用于不同环境的副作用的一般概念。这可以与奖励建模等 human-in-the-loop 方法相结合，并将提高我们对副作用问题的理解，这有助于我们更广泛地理解智能体动机。 这是我们关于副作用的新版本论文的焦点。