即使我们非常小心地部署机器学习,也可能会达到少数相关性失败(correlated failures)很快就会变成灾难性的地步。强大的模型可能会积极地破坏保护措施,抵制纠正措施,并操纵其操作。 我认为机器学习系统的长期安全性需要能够排除这种行为,我称之为不可接受(unacceptable),甚至对于在输入分布上极其罕见的输入也应如此。 在这篇文章中,我将通过强调我认为最重要的三个因素:对抗式训练、透明度和松弛来解释为何我认为这个目标很可能是可以实现的。
即使我们非常小心地部署机器学习,也可能会达到少数相关性失败(correlated failures)很快就会变成灾难性的地步。强大的模型可能会积极地破坏保护措施,抵制纠正措施,并操纵其操作。 我认为机器学习系统的长期安全性需要能够排除这种行为,我称之为不可接受(unacceptable),甚至对于在输入分布上极其罕见的输入也应如此。 在这篇文章中,我将通过强调我认为最重要的三个因素:对抗式训练、透明度和松弛来解释为何我认为这个目标很可能是可以实现的。
A Reasonable Theology for Our Time
What if we understood more things?
A Research Blog
Computing with Meaning and Values
LASP - Learning And Signal Processing
Just another WordPress.com site
Ph.D. Candidate at Stanford
Massively Collaborative Theoretical Computer Science Projects
Philosophy, Mathematics, and Logic
by Jessica Taylor
Updates on my research and expository papers, discussion of open problems, and other maths-related topics. By Terence Tao
Random things about software development, machine learning and image processing research.
Just another WordPress.com weblog
Looking askance at reality