通常，当我们考虑机器学习的健壮性时，我们会想象一个标量，代表系统从训练分布中移除时的性能。考虑 mesa 优化 （AN＃58）时，很自然地将健壮性分解为两个变量：健壮能力和健壮对齐。当给定的环境与训练环境不完全相似时，通过有效地追求不同于训练过程中使用的损失函数的 mesa 目标，mesa 优化器可能会很危险。没有健壮对齐的健壮能力就是恶性故障的一个例子，这是创建 mesa 优化器时最令人担忧的结果。

该模型通过学习生成表示计划（或动作序列）的向量，并共同学习将这些向量解码为动作序列。该体系结构学习去使用类似于自动编码器的结构来生成计划向量，该结构使用 KL 散度来对齐（1）从玩游戏数据的窗口的开始和结束状态预测的计划向量的分布，以及（2）通过回顾该窗口中执行的所有操作的计划向量的分布。由于我们正在共同学习展开（2）回溯总结向量，使其与实际采取的行动相匹配，因此理想情况下，我们将得到一个可以吸收给定计划向量并产生一系列行动以执行的系统的该计划。而且，因为我们重新学习预测一个向量，该向量与从开始的状态成功地达到最终状态所采取的动作相一致时，测试时的模型应该能够产生与可行的动作相对应的玩游戏向量，该向量将使其从当前状态变为最终状态。我们希望达到的目标状态。作者发现，即使在单任务模型经过显式演示训练的情况下，他们的玩游戏训练模型在一系列操作任务上也能胜过单任务模型。

Asya 的观点：我对作为正则化工具的影响和作为安全协议的影响感到非常兴奋。我觉得在运行时刻受到影响限制的 AI（影响限制条件）不太可能与其他没有影响力的 AI竞争（这将在后文中讨论）。我发现这样一种论点，即影响对于取消混淆的强制性尤其有用。

Rohin 的观点：在我看来，安全协议参数是针对训练时的有限动作，而影响限制因素是针对测试时的有限动作。我真的不知道正则化器应该与这两种情况有什么不同 —— 也许是因为它是 AI 专门优化的效用函数分布上的正则化器？这仍然令人困惑，我希望影响限制器的情况也可以改变效用函数。像 Asya 一样，我也担心竞争力：请参阅 下面有关可逆变化的文章  。

什么地方出了错？问题是我们评估机器智能的方式，没有考虑到机器对我们有用的事实。HC 提出：  机器在可以预期它们的动作可以实现 我们的 目标这个意义上是 有益的。当然，现在，我们仍然不知道我们的目标是什么。但这一定义，而不是我们的人工智能系统优化确定的，错误的目标，他们将 也 成为不确定的目标。HC 通过提出人工智能系统设计的三项原则对此进行了扩展，我将在此处完整引用：

1.  机器的唯一目的是最大程度地实现人们的偏好。

2.  机器最初不确定这些偏好是什么。

3.  关于人类偏好的信息的最终来源是人类行为。

关于人类最佳行为的标准逆强化学习假设似乎不切实际；我认为，本文提供了一个没有此假设的有见地的初始步骤，并以干净而引人注目的方式对问题的非最优版本进行了建模。我认为值得注意的是，这个问题对参与人的学习模型非常敏感，并且我同意该论文，这表明我们应该努力研究实际的人类学习策略。我不确定如何考虑将这些见解推广到其他逆强化学习案例。