2025-3-15-强化学习

序列建模与概率图模型

时间序列数据：大量数据与时间相关，是研究对象。

序列建模：对序列数据进行学习、掌握其内在模式和规律。

概率图模型(Probabilistic Graphical Model)：刻画变量之间相关性（无向图）、以及显示存在的因果关系（有向图）

有向图：贝叶斯网络。有向边表示条件概率分布。

联合概率分布：$Parents(x_i)$是$x_i$的父节点。

$$\begin{align} p(x_1,x_2,\dots,x_n)&=p(x_n|x_{n-1},\dots,x_1)p(x_{n-1},\dots,x_1)\\ &=\prod^{n}_{i=1}p(x_i|Parents(x_i)) \end{align}$$

$$p(x_1,x_2,x_3,x_4,x_5,x_6)= p(x_1)p(x_2|x_1)p(x_3|x_1)p(x_4|x_2)p(x_5|x_3)p(x6|x_2,x_5)$$

概率图模型三要素:

1. 表示（Representation）：表征变量之间概率依赖关系
2. 推断（Inference）：在已知部分变量时计算其他未知变量的概率分布
3. 学习（Learning）：通过观测数据来估计模型参数

常见推断方法：

1. 极大似然估计（Maximum Likelihood Estimation，MLE）
2. 最大后验估计（Maximum A Posterior，MAP）
3. 期望最大化（Estimation-Maximization，EM）-_>处理隐变量（GMM）
4. 贝叶斯推断（Bayesian Inference，BI）-> 处理数据不足、干扰
5. 马尔可夫链蒙特卡罗方法（Markov Chain Monte Carlo，MCMC）->计算量大
6. 变分推断（Variational Inference，VI）->后验分布寻找最合适的分布