2025-3-15-强化学习
序列建模与概率图模型
时间序列数据：大量数据与时间相关，是研究对象。
序列建模：对序列数据进行学习、掌握其内在模式和规律。
概率图模型(Probabilistic Graphical Model)：刻画变量之间相关性（无向图）、以及显示存在的因果关系（有向图）
有向图：贝叶斯网络。有向边表示条件概率分布。
联合概率分布：\(Parents(x_i)\)是\(x_i\)的父节点。 \[
\begin{align}
p(x_1,x_2,\dots,x_n)&=p(x_n|x_{n-1},\dots,x_1)p(x_{n-1},\dots,x_1)\\
&=\prod^{n}_{i=1}p(x_i|Parents(x_i))
\end{align}
\] 
\[
p(x_1,x_2,x_3,x_4,x_5,x_6)=
p(x_1)p(x_2|x_1)p(x_3|x_1)p(x_4|x_2)p(x_5|x_3)p(x6|x_2,x_5)
\]
概率图模型三要素:
- 表示（Representation）：表征变量之间概率依赖关系
- 推断（Inference）：在已知部分变量时计算其他未知变量的概率分布
- 学习（Learning）：通过观测数据来估计模型参数
常见推断方法：
- 极大似然估计（Maximum Likelihood Estimation，MLE）
- 最大后验估计（Maximum A Posterior，MAP）
- 期望最大化（Estimation-Maximization，EM）-_>处理隐变量（GMM）
- 贝叶斯推断（Bayesian Inference，BI）-> 处理数据不足、干扰
- 马尔可夫链蒙特卡罗方法（Markov Chain Monte Carlo，MCMC）->计算量大
- 变分推断（Variational Inference，VI）->后验分布寻找最合适的分布
