用琴生(Jensen)不等式证明期望最大值(EM)算法收敛

Sun, 13 Jun 2021 04:04:43 +0000

今年二月份刷了一遍“机器学习白板推导”系列视频。https://www.bilibili.com/video/BV1aE411o7qd 。这个机器学习的公式推导系列讲地真是太好了，当时像追剧一般花了两个星期听完。非常感谢录这个视频系列的老师shuhuai008。不过，因为以前机器学习的基础几乎为0，又没有动手做相关练习。三个半月以后，又忘了很多了。昨天，我想起要复习一下EM算法，于是又把视频捡起来找到EM算法的部分，复习一下。

第二次看，果然快了很多。不过，在用琴生不等式证明EM算法收敛的部分，卡住了。我不断回忆第一次看的时候是如何理解的，奈何回忆不起来了。于是，找到Jensen不等式的词条看了看，琢磨了好久。终于懂了，在这里把这个思考过程记下来。

我卡在这个步骤：需要用Jensen Inequality证明如下不等式：
[latex]
\int\limits_z P(z|x, \theta^{(t)}) \log_{}{\frac{P(z|x, \theta^{(t+1)})}{P(z|x, \theta^{(t)})} } dz \le 0
[/latex]
上面公式中的z表示模型中的隐变量，x表示观测值，$ \theta $是参数，$ \theta^{(t)} $表示theta在第t时刻的值（EM算法是一个迭代算法）。

证明这个不等式需要用到琴生不等式在凹函数上的性质。如下：
设f(x)中一个凹函数（凹函数图形和中文字凹的形状相反，可以理解为上凸，log函数即一个凹函数）,下面的不等式成立。
$$
a_1f(x_1) + a_2f(x_2) + \dots + a_nf(x_n) \le f(a_1x_1 + a_2x_2 + \dots + a_nx_n)
且 a_1 + a_2 + \dots + a_n = 1
$$
用自然语言描述是：凹函数定义域内的n个自变量对应的因变量的线性组合小于或等于n个自变量先做线性组合再求对应的因变量，作线性组合的系数之和为1。简单地说：先求函数值再做线性组合小于或等于先做线性组合再求函数值。

再回到我们要证明的不等式。积分号即可看成是无穷多个值的线性组合，对数符号log后面对应的那一坨
$$ {\frac{P(z|x, \theta^{(t+1)})} {P(z|x, \theta^{(t)})} } $$
看成是log函数的因变量，log前面的
$$
P(z|x, \theta^{(t)})
$$
看成是线性组合的系数，很明显这个系数是满足积分和为1的概率密度。于是，就可以套用上面提到的凹函数上的琴生不等式。不等式的右边为0，左边是“先求函数值再做线性组合”，化简为左边小于“先做线性组合再求函数值”：
$$
\begin{aligned}
左边 &\le log_{}{\int\limits_z {\frac{P(z|x, \theta^{(t+1)})} {P(z|x, \theta^{(t)})} } P(z|x, \theta^{(t)})}dz \&=log_{}{}\int \limits_zP(z|x,\theta^{(t+1)})dz=log_{}{1}=0
\end{aligned}
$$
得证！

机器学习 on kamuszhou's blog

用琴生(Jensen)不等式证明期望最大值(EM)算法收敛