近似KL散度

作者:John Schulman(OpenAI) 译者:Xiaohu Zhu(CSAGI) 原文链接:http://joschu.net/blog/kl-approx.html 本文讨论 KL 散度的 Monte-Carlo 近似: $latex \text{KL}[q,p] = \sum_{x}q(x)\log \frac{q(x)}{p(x)} = E_{x\sim q}[\log \frac{q(x)}{p(x)}]$ 这解释了之前使用了一个技巧,针对来自 $latex q$ 中的样本 $latex x$ 以 $latex \frac{1}{2}(\log p(x)-\log q(x))^2$ 样本平均来近似 $latex \text{KL}[q,p]$,而不是更加标准的 $latex \log \frac{q(x)}{p(x)}$. 本文谈谈为何该表达是一个 KL 散度的好的估计(尽管有偏 biased),以及如何让其变得无偏(unbiased)保证其低方差。 我们计算 KL 的选择取决于对 $latex p$ 和 $latex q$ 的访问方式。这里,我们假设能够对任意 $latex x$ 计算概率(或者概率密度)$latex p(x)$ 和 $latex … Continue reading 近似KL散度