EM算法笔记

2016-12-01 21:34:11   0  举报





仅支持查看

AI智能生成

EM算法是一种迭代优化技术，主要用于含有隐变量的概率模型参数估计。它通过两步交替进行：E步（Expectation）计算期望，M步（Maximization）最大化期望。在E步，算法计算在当前参数下隐变量的后验概率；在M步，算法更新参数以最大化这个后验概率的期望。这个过程不断重复，直到收敛。EM算法是处理缺失数据、混合模型等复杂问题的有效工具，但也可能陷入局部最优。

作者其他创作

大纲/内容

极大似然估计的一般步骤

写出似然函数

对似然函数取对数，并整理

求导数，令导数为0，得到似然方程

解似然方程，得到的参数即为所求

EM的算法流程：

流程

输入：观测数据 Y，不可观测数据 Z

span style=\

step1：给出参数初始化值 θ0

step2：E步

记 θn为第n 次迭代后参数的估计值

在第 n+1次迭代的E步，求期望（ Q 函数）

step3：M步

求 Q函数的极大值点，来作为第 n+1次迭代所得到的参数估计值 θn+1

迭代E和M步，直到满足停止条件

EM算法的核心在于E步中Q函数的求解

EM算法的收敛性

观测数据的似然函数 span class=\"MathJax\" id=\"MathJax-Element-77-Frame\" tabindex=\"0\" data-mathml=\"P(Y|θ)\" role=\"presentation\" style=\"margin: 0px; padding: 0px; display: inline; font-size: 16px; word-spacing: normal; word-wrap: normal; white-space: nowrap; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border: 0px; position: relative;\"span class=\"mi\" id=\"MathJax-Span-1755\" style=\

span class=\"mi\" id=\"MathJax-Span-1755\" style=\

EM算法笔记

EM算法的引入

EM算法是含有隐变量的概率模型参数的极大似然估计方法或极大后验概率估计法

EM算法是一种迭代方法

Jensen不等式

凸函数

设f是定义域为实数的函数，如果对于所有的实数x满足

则f是凸函数

当x是向量时，如果其hessian矩阵H是半正定的，即满足

如果f是凸函数，X是随机变量

特别地，如果f是严格凸函数：