AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验?

在此处查找所有Alignment Newsletter资源。特别是,您可以注册或查看此电子表格中所有摘要中的摘要。 强调 HARK 深度学习的一面 —— 从“研究生下降法”到自动机器学习 (Oguzhan Gencoglu等):本文重点研究结果已知后的假设的负面影响(HARKing),这是研究人员  首次进行实验和观察的模式结果,一旦他们达到了可发布的标准,就会在事后解释结果后构建一个假设。它认为 HARKing 在机器学习中很常见,并且这对整个领域产生了负面影响。首先,对当前最好结果(SotA)的改进可能是有问题的,因为它们可能是由于通过“研究生下降法”的足够的超参数调整引起的,而不是在获得归因的论文中的新想法。其次,由于在会议中仅报告了积极的结果,因此存在发表偏差,这使我们无法从反面结果中学习。第三,为适合单个数据集或任务的结果而特意定制的假设不太可能推广到新的数据集或任务。第四,虽然 AutoML 系统取得了良好的效果,但我们无法弄清楚是什么让它们起作用,因为高计算要求使得消融研究更难以实现。最后,他们论述了我们需要解决 HARKing 以实现道德 AI,以人为中心的 AI,可复现的 AI 等。 Rohin 的观点:我相信在  我开始考虑这个问题之后,我第一次找到这篇 通用的有趣新论文  时发现了这篇论文,这非常巧合。我真的很高兴作者写了这篇论文 —— 这不是他们的动机(据我所知),不过该话题似乎非常重要。 也就是说,我在一些方面不同意里面的观点。作者不承认 HARKing 的价值 ——  经常进行许多实验并看看为了发展一个好的理论会发生什么是有用的。人类不是理想的贝叶斯反叛者,他们可以同时考虑所有假设; 为了甚至假设一个理论,我们通常需要很多观察。作者指出,在其他领域,HARKing 导致不良结果,但 ML 明显不同,因为  我们可以以更高的迭代速度更快地运行实验。 如果我们被迫预先注册研究,正如作者所建议的那样,迭代速度会下降一个数量级或两个数量级 ; 我严重怀疑这些好处将超过较低迭代速度的成本。研究人员可以运行实验并观察结果,制定理论,然后预先注册一个可以测试理论的实验,而不是预先注册所有实验,但在这种情况下,我希望研究人员最终“预先注册”非常相似的实验对产生该理论的实验进行了研究,结果很可能得出结论来支持该理论。 (这不需要研究人员的任何积极的恶意 —— 在你开发理论的领域中思考理论的预测是很自然的。例如,在  我们最近的论文  (AN#45)中,我们明确地设计了四个环境,我们期望我们的方法工作,一个不希望。) 另一点:我认为  HARKing 的根本原因是对 SotA 进行追逐的动机,如果我写这篇论文,我会关注这一点。例如,我认为对 SotA 追逐的偏见导致了 HARKing,而不是相反。(我不确定作者是否相信;论文在这一点上并不十分清楚。)这也是对“研究生下降法”或超参数调整引起的结果的更直接的解释; 这些论文中的 HARKing … Continue reading AN #56 机器学习研究人员是否应该在做出假设之前停止运行其实验?