Xiaohu Zhu AGI, AI Safety, Alignment, OpenAI

最坏情况下的保证（重制版）

即使我们非常小心地部署机器学习，也可能会达到少数相关性失败（correlated failures）很快就会变成灾难性的地步。强大的模型可能会积极地破坏保护措施，抵制纠正措施，并操纵其操作。 我认为机器学习系统的长期安全性需要能够排除这种行为，我称之为不可接受（unacceptable），甚至对于在输入分布上极其罕见的输入也应如此。 在这篇文章中，我将通过强调我认为最重要的三个因素：对抗式训练、透明度和松弛来解释为何我认为这个目标很可能是可以实现的。