Category: Alignment
-
AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验?
在此处查找所有Alignment Newsletter资源。特别是,您可以注册或查看此电子表格中所有摘要中的摘要。 强调 HARK 深度学习的一面 —— 从“研究生下降法”到自动机器学习 (Oguzhan Gencoglu等):本文重点研究结果已知后的假设的负面影响(HARKing),这是研究人员 首次进行实验和观察的模式结果,一旦他们达到了可发布的标准,就会在事后解释结果后构建一个假设。它认为 HARKing 在机器学习中很常见,并且这对整个领域产生了负面影响。首先,对当前最好结果(SotA)的改进可能是有问题的,因为它们可能是由于通过“研究生下降法”的足够的超参数调整引起的,而不是在获得归因的论文中的新想法。其次,由于在会议中仅报告了积极的结果,因此存在发表偏差,这使我们无法从反面结果中学习。第三,为适合单个数据集或任务的结果而特意定制的假设不太可能推广到新的数据集或任务。第四,虽然 AutoML 系统取得了良好的效果,但我们无法弄清楚是什么让它们起作用,因为高计算要求使得消融研究更难以实现。最后,他们论述了我们需要解决 HARKing 以实现道德 AI,以人为中心的 AI,可复现的 AI 等。 Rohin 的观点:我相信在 我开始考虑这个问题之后,我第一次找到这篇 通用的有趣新论文 时发现了这篇论文,这非常巧合。我真的很高兴作者写了这篇论文 —— 这不是他们的动机(据我所知),不过该话题似乎非常重要。 也就是说,我在一些方面不同意里面的观点。作者不承认 HARKing 的价值 —— 经常进行许多实验并看看为了发展一个好的理论会发生什么是有用的。人类不是理想的贝叶斯反叛者,他们可以同时考虑所有假设;…
-
基于奖励建模的可扩展智能体对齐
我们需要一种良好的方式提供反馈并让智能体可靠地理解我们所想要的东西,从而帮助我们达成这些目标。换言之,我们希望在有人类反馈的情形下以一种让系统行为和我们的意图对齐的方式来训练人工智能系统。