Category: KL divergence

作者：John Schulman（OpenAI） 译者：Xiaohu Zhu（CSAGI） 原文链接：http://joschu.net/blog/kl-approx.html 本文讨论 KL 散度的 Monte-Carlo 近似： 这解释了之前使用了一个技巧，针对来自 中的样本 以 样本平均来近似 ，而不是更加标准的 . 本文谈谈为何该表达是一个 KL 散度的好的估计（尽管有偏 biased），以及如何让其变得无偏（unbiased）保证其低方差。 我们计算 KL 的选择取决于对 和 的访问方式。这里，我们假设能够对任意 计算概率（或者概率密度） 和 ，但是我们不能解析地跑遍 求和。为何我们不能解析地计算呢？ 准确地计算此和需要太多计算或者内存 没有闭式形式 我们可以通过仅仅存储…