由ricraz于2019年5月28日发表https://www.alignmentforum.org/posts/hubbRt4DPegiA5gRR/a-shift-in-arguments-for-ai-risk

---

这是https://fragile-credences.github.io/prioritising-ai/的链接

链接的帖子是 Tom Sittler 在 FHI 工作时完成的。我认为这种说明性和分析性工作非常有价值，所以我在这里交叉发布（经过他的许可）。以下是扩展摘要; 有关完整文档，请参阅他的链接博客文章。

许多人现在致力于确保高级AI具有有益的后果。但是，这个社区的成员为优先考虑人工智能提出了几个完全不同的论点。

早期的争论，特别是超级智能，将“对齐问题”确定为人工智能风险的主要来源。此外，本书依赖于这样的假设：超智能AI可能通过人工智能系统能力的不连续跳跃而不是通过逐步进展而出现。这个假设对于单个人工智能系统可以获得“决定性战略优势”的论点至关重要，即协调问题不能通过反复试验来解决，并且可能存在“危险转向”。因此，不连续假设是该书的结论的基础，即存在性灾难可能是一种结果。

超级智能中的论点结合了三个特征：（i）关注对齐问题，（ii）不连续性假设，以及（iii）得出存在性灾难的结论。

最近，放弃其中一些功能的争论变得突出。它们通常也比早期的论点更不详细。

保罗·克里斯蒂亚诺（Paul Christiano）和卡佳·格雷斯（Katja Grace）提出的一个论点是放弃不连续假设，但继续将对齐问题视为人工智能风险的来源。即使在更为渐进的情景下，他们仍然认为，除非我们在高级人工智能在经济中广泛部署之前解决对齐问题，否则这些人工智能将导致人类价值观最终从突出中消失。他们似乎对这些危害是否会保证标签“存在风险”感到痛苦。

此外，其他人提出了与对齐问题无关的AI风险。我讨论了其中三个：（i）AI可能被滥用的风险，（ii）它可能在大国之间发生战争的可能性更大，以及（iii）它可能导致对价值侵蚀的竞争。这些论点并不重要地依赖于不连续性，并且风险在规模上很少存在。

并不总是清楚哪个论点实际上激励了有益人工智能社区的成员。澄清哪些论点（或其他论点）对哪些人至关重要将是有用的。这有助于评估案例的优势，确定人工智能的优先级，决定在人工智能中实施哪些策略，并避免与有同情心的局外人或怀疑论者进行代价高昂的误解。