多元统计分析-复习(下)

期末复习2

各分析考试占比较少。

[TOC]

Ch5 相关分析

不考的：

• 样本复相关系数分布（独立性检验，不考）
• 典型相关分析所有k步、作用
• 样本典型相关分析
• 典型相关变量个数检验
• 广义相关系数

5.1 复相关系数

5.1.1 总体复相关系数

知道基本定义即可。证明说是很简单，那么有可能考。

变量与向量之间的复相关系数为：

$$\rho_{y_1,Y_2} = \sqrt{\frac{\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}}{\sigma_{11}}}$$

其中，，，。

定义的过程：设随机向量，其中。

将，和分别剖分为：

$$Y = \begin{pmatrix} y_1 \\ Y_2 \end{pmatrix}, \quad \mu = \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix}, \quad \Sigma = \begin{pmatrix} \sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}$$

其中，；；；是阶正定阵。

考虑与之间的简单相关系数，其中，

$$\begin{align} \rho_{y_1,a'Y_2} &= \frac{\text{Cov}(y_1,a'Y_2)}{\sqrt{\text{Var}(y_1)}\sqrt{\text{Var}(a'Y_2)}} = \frac{\text{Cov}(y_1,Y_2)a}{\sqrt{\sigma_{11}}\sqrt{a'\text{Var}(Y_2)a}}\\ &= \frac{\Sigma_{12}a}{\sqrt{\sigma_{11}}\sqrt{a'\Sigma_{22}a}} \end{align}$$

则定义与的复相关系数为:

$$\rho_{y_1,Y_2} = \sup_{a \in R^{p - 1}} \rho_{y_1,a'Y_2} = \frac{1}{\sqrt{\sigma_{11}}} \sup_{a \in R^{p - 1}} \frac{\Sigma_{12}a}{\sqrt{a'\Sigma_{22}a}}$$

由的非负性、Cauchy - Schwarz不等式知 :

$$\rho_{y_1,Y_2} = \frac{1}{\sqrt{\sigma_{11}}} \sqrt{\sup_{a \in R^{p - 1}} \frac{(\Sigma_{12}a)^2}{a'\Sigma_{22}a}} = \sqrt{\frac{\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}}{\sigma_{11}}}$$

定理 1: 当时，的方差取得最小值：，与最接近，。

与的相关系数最大，为复相关系数，本质上刻画了和的线性相关程度。

证明： 对任意，有 :

$$\begin{align*} \text{Var}(y_1 - b'Y_2)&=\text{Var}[(y_1 - a'Y_2)+(a - b)'Y_2]\\ &=\text{Var}(y_1 - a'Y_2)+(a - b)'\text{Cov}(Y_2)(a - b)\\&+2\text{Cov}[(y_1 - a'Y_2),(a - b)'Y_2] \end{align*}$$

由于，则有:

$$\begin{align*} \text{Cov}[(y_1 - a'Y_2),Y_2]&=\text{Cov}(y_1,Y_2)-a'\text{Cov}(Y_2,Y_2)\\ &=\Sigma_{12}-a'\Sigma_{22}\\ &=0 \end{align*}$$

方差关系有：

$$\begin{align*} Var(y_1 - b'Y_2) &= Var(y_1 - a'Y_2)+(a - b)'Var(Y_2)(a - b)\\ &= Var(y_1 - a'Y_2)+(a - b)'\Sigma_{22}(a - b)\\ &\geq Var(y_1 - a'Y_2) \\\\ Var(y_1 - a'Y_2) &= Var(y_1)+Var(a'Y_2)-2Cov(y_1,a'Y_2)\\ &= \sigma_{11}+\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}-2\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\\ &= \sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\\ &= Var(y_1|Y_2) \end{align*}$$

由定理1知：达最小意味着与最接近，即与最接近。

因此可以用个预报因子的线性组合来预测单个因变量，其最优斜率为，最优截距为。

注意到：

$$\begin{align*} E(y_1|Y_2) &= \mu_1+\Sigma_{12}\Sigma_{22}^{-1}(Y_2 - \mu_2)\\ &= \mu_1+a'(Y_2 - \mu_2)\\ &= (\mu_1 - a'\mu_2)+a'Y_2 \end{align*}$$

条件期望是最优(方差最小)的线性预测。

5.1.2 样本复相关系数

在总体复相关系数的基础上，用样本估计替换。

设总体，其样本为。考虑的剖分。

记，和分别为样本均值、样本离差阵和样本协差阵，并对它们作相应剖分。

则由与的复相关系数:

$$\rho_{x^{(1)},X^{(2)}}=\sqrt{\frac{\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}}{\sigma_{11}}}$$

定义与的样本复相关系数为:

$$r_{x^{(1)},X^{(2)}}=\sqrt{\frac{V_{12}V_{22}^{-1}V_{21}}{v_{11}}}$$

以及的估计为。不难知道，它们分别是复相关系数和方向的极大似然估计。

5.2 典型相关分析定义

不太确定定义考不考，所以列上了。

设分别为p维和q维随机向量：，其协方差矩阵为：

$$\text{Cov}\begin{pmatrix}X\\Y\end{pmatrix} =\Sigma=\begin{pmatrix}\Sigma_{11}&\Sigma_{12}\\\Sigma_{21}&\Sigma_{22}\end{pmatrix}$$

其中：，正定。

设a和b分别为p维和q维任意非零的常数向量：

$$\rho(a'X,b'Y)=\frac{a'\Sigma_{12}b}{\sqrt{(a'\Sigma_{11}a)(b'\Sigma_{22}b)}}$$

由于相关系数不受a和b常数倍的影响，为简单起见，对进行标准化，令：

$$Var(a'X)=a'\Sigma_{11}a=1,\quad Var(b'Y)=b'\Sigma_{22}b=1$$

(书p485)定理13.1.1：和的最大相关系数为：

$$\max_{a,b}\rho(a'X,b'Y)=\sqrt{\lambda_1}$$

在标准化的方差约束条件下，最大值在时达到，其中分别为矩阵的最大特征值和最大特征值对应的特征向量。

Ch6 PCA

不考的：

• R-PCA
• 样本-PCA
• PCA-统计推断
• PCA-检验问题

---

基本上考的方式： PCA=方差最大

• 给出计算好的，指出第一、第二主成分。

• 对应的第一主成分是什么意思？对应的方差是多少？把特征根分解写出来。

• 顶多考一下基本概念。

记是维随机向量()，我们想基于，找到变量(的线性组合)，令的方差尽可能地大，足以代表的散布。

因为，这表明若不对施加约束，则的最大方差。

所以对施加正则化约束：，使得优化问题为：

$$\sup_{a'a=1}Var(a'X)=\sup_{a'a=1} a'\Sigma a$$

令的特征根为，与这些特征根对应的正则正交特征向量为。 易知:

$$\alpha_{1}=\alpha_{1}=(a_{11},\cdots,a_{1p})'\\ V_{ar}(a_{1}'X)=a_{1}'\Sigma a_{1}=\lambda_{1}$$

则第一主成份：

• 方向：总体协差阵的最大特征根所对应的正则特征向量。
• 方差：总体协差阵的最大特征根。

Ch7 因子分析

知道有这种模型，知道概念。

会写其协方差矩阵，

反推说简答的考, 推测考点

• 正交因子模型协方差结构检验、写似然比

• 斜交旋转（因为简单）

• 因子得分（只是反过来当回归估计）

不考的：

• 因子载荷矩阵的估计、极大似然估计
• 极大似然估计的迭代算法
• 公共因子>2

7.1 正交因子模型

令, .

具有因子结构(与相互独立):

维常数向量	阶常数矩阵
	因子载荷矩阵	公共因子	特殊因子

$$\text{Cov}(x)=\Sigma = AA^{\prime}+D$$

注意：因子载荷矩阵并不唯一，因为对任意阶正交矩阵，有:

$$\begin{align}x&=\mu + Af + u\\ &=\mu+(AT)(T^{\prime}f)+u\\ &=\mu+(AT)f^{*}+u\\\\ f^{*}&=T^{\prime}f\sim N_{m}(0, I_{m})\\ \text{Cov}(x)&=AA^{\prime}+D=(AT)(AT)^{\prime}+D \end{align}$$

7.2 因子载荷矩阵的表示

Q: 在给定的相关阵和对角阵的条件下，如何求解？

约相关阵：

易知，的对角元素为，，其它元素与一样，且非负定。

$$R^*=AA'=\begin{pmatrix} a_{11}&a_{12}&\cdots&a_{1m}\\ a_{21}&a_{22}&\cdots&a_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ a_{p1}&a_{p2}&\cdots&a_{pm}\\ \end{pmatrix}\begin{pmatrix} a_{11}&a_{21}&\cdots&a_{p1}\\ a_{12}&a_{22}&\cdots&a_{p2}\\ \vdots&\vdots&\ddots&\vdots\\ a_{1m}&a_{2m}&\cdots&a_{pm}\\ \end{pmatrix}\\ R^*_{ii}=A_{i*}·A_{i*}'=\sum^m_{j=1}a_{ij}^2=h_{i}^2\\ R^*_{ij}=A_{i*}·A_{j*}'=\sum^m_{k=1}a_{ik} a_{jk}$$

记$R^r^_{ij}=\sum^m_{k=1}a_{ik} a_{jk},\ 1\le j,k\le p$.

目标：求解的各列，使得“贡献”.

要求：使得达到最大值的解。

利用特征根和特征向量求解:

记为的特征根，其对应的正则正交特征向量分别为。 则 :

$$\begin{align}R^{*}&=U\Lambda U'=U\Lambda^{\frac 1 2} U'=AA' \\&=(\alpha_{1},\cdots,\alpha_{p})\text{diag}(\lambda_{1},\cdots,\lambda_{p})(\alpha_{1},\cdots,\alpha_{p})^{\prime}\\ &=(\alpha_{1},\cdots,\alpha_{p})\text{diag}(\sqrt{\lambda_{1}},\cdots,\sqrt{\lambda_{p}})\text{diag}(\sqrt{\lambda_{1}},\cdots,\sqrt{\lambda_{p}})(\alpha_{1},\cdots,\alpha_{p})^{\prime}\\\\ A &= (\alpha_{1},\cdots,\alpha_{m})\text{diag}(\sqrt{\lambda_{1}},\cdots,\sqrt{\lambda_{m}}) \end{align}$$

其中是的秩。

7.4 因子旋转-方差最大的正交旋转(Varimax旋转)

先考虑两个因子的正交旋转，设因子载荷矩阵和正交矩阵为：

, T是旋转矩阵。

令

$$\begin{cases} b_1=a_1\cos(\varphi)-a_2\sin(\varphi)\\ b_2=a_1\sin(\varphi)+a_2\cos(\varphi) \end{cases}$$

目标：旋转后，因子的“贡献”越分散越好。

结果：可分为两部分，一部分主要与第一因子有关，另一部分主要与第二因子有关。

定义和的相对方差：

$$V_i(\varphi)=\frac 1 p\sum^p_{j=1}\left(\frac{b_{ji}^2}{h_j^2}\right)-\left(\frac 1 p\sum^p_{j=1}\frac{b_{ji}^2}{h_j^2}\right)^2$$

其中表示因子对的影响；要求使得总方差最大，即求：

$$\hat\varphi=\arg\max_{\varphi}(V_1(\varphi)+V_2(\varphi))$$

记：()

此法具有显式解：

$$\tan(4\hat\varphi)=\frac{D-2\frac{AB}{p}}{C-\frac{A^2-B^2}{p}}$$

进而得正交矩阵：

$$T=\begin{pmatrix}\cos(\hat\varphi)&-\sin(\hat\varphi)\\ \sin(\hat\varphi)&cos(\hat\varphi) \end{pmatrix}$$

取得的方差是有界（其成分都是有界的）、故一定会收敛。

在旋转的同时，都会更接近收敛（比原来好），因此到达停止条件的时候，收敛。

7.5 正交因子模型极大似然估计

设是来自总体的样本，其中，。

有关正交因子模型的检验问题为:

$$H_0:\Sigma = AA'+D$$

其中是秩为的矩阵，。

记的极大似然估计为，则有:

$$L(\hat{A},\hat{D})=\vert\hat{A}\hat{A}'+\hat{D}\vert^{-n/2}\exp\left\{-\frac{n}{2}\text{tr}[(\hat{A}\hat{A}'+\hat{D})^{-1}S]\right\}\\ L(\hat A,\hat D)=\vert\hat A\hat A'+\hat D\vert^{-\frac n 2}\exp\{-\frac {np}2\}$$

正交因子模型检验的似然比为：

$$\begin{align} \lambda&=\frac{\sup_{\mu,\Sigma = AA'+D}\vert\Sigma\vert^{-n/2}\exp\left\{-\frac{n}{2}\text{tr}[\Sigma^{-1}(S + (\bar{x}-\mu)(\bar{x}-\mu)')]\right\}}{\sup_{\mu,\Sigma}\vert\Sigma\vert^{-n/2}\exp\left\{-\frac{n}{2}\text{tr}[\Sigma^{-1}(S + (\bar{x}-\mu)(\bar{x}-\mu)')]\right\}}\\ &=\left(\frac{\vert S\vert}{\vert\hat{A}\hat{A}'+\hat{D}\vert}\right)^{n/2} \end{align}$$

7.6斜交旋转

设维随机向量可以表示为：

$$\mathbf{x}=\mu + A\mathbf{f}+\mathbf{u}$$

其中，是维常数向量，是阶常数矩阵，，，为相关阵，，，与相互独立。

称模型为斜交因子模型，称为公共因子，为特殊因子，为因子载荷矩阵。

Actually，存在满秩阵，使得。若令，，则：

$$\begin{align} {x}&=\mu + \mathbf A{f}+{u}\\ &=\mu+(\mathbf AT)(T^{-1}{f})+{u}\\ &=\mu+\mathbf Bg+u \end{align}$$

易知:

$$$\text{Cov}(\mathbf{g})=T^{-1}\text{Cov}(\mathbf{f})(T^{\prime})^{-1}=T^{-1}R(T^{\prime})^{-1}=I_{m}$$

则是正交因子模型，是公共因子，是正交因子载荷矩阵。

由于非正交矩阵，我们称公共因子为正交公共因子的斜交旋转。

7.7 因子得分

将因子表示成变量的线性组合（反代）

, 其中是公共因子, 是变量。

• 因子得分函数：
• 因子得分矩阵：

由因子得分函数知:

$$f_j=\sum_{i = 1}^{p}b_{ji}x_i, \quad 1\leq j\leq m$$

7.7.1 因子得分的计算—计算因子得分矩阵

假定变量已作标准化处理，即，，。 令，也是的相关阵。记。

假定因子载荷矩阵和相关阵已知。

对任意，，有：

$$\begin{align} a_{ij}&=E(x_if_j)\\&=\sum_{k = 1}^{p}b_{jk}E(x_ix_k)\\&=\sum_{k = 1}^{p}r_{ik}b_{jk} \end{align}$$

因此对，有：

$$\begin{pmatrix} r_{11}&r_{12}&\cdots&r_{1p}\\ r_{21}&r_{22}&\cdots&r_{2p}\\ \vdots&\vdots&\ddots&\vdots\\ r_{p1}&r_{p2}&\cdots&r_{pp} \end{pmatrix} \begin{pmatrix} b_{j1}\\ b_{j2}\\ \vdots\\ b_{jp} \end{pmatrix} = \begin{pmatrix} a_{1j}\\ a_{2j}\\ \vdots\\ a_{pj} \end{pmatrix}$$

Ch8 判别分析

不考的：

• 贝叶斯估计、容许性
• Fisher判别
• SVM

8.1 马氏距离(Mahalanobis距离)

假设有两个正态总体，分布分别为. 判断样本y来自哪个总体。

设和是来自于均值为，协方差阵为的总体的两个样本，定义样本之间的马氏距离为:

$$d^2(x,y)=(x - y)'\Sigma^{-1}(x - y).$$

定义与总体的距离为与均值的距离，即:

$$d^2(x,G)=(x - \mu)'\Sigma^{-1}(x - \mu).$$

8.1.1 总体具有相同协方差—线性

假定两个总体具有相同的协方差阵.

我们先考虑总体和分别服从正态分布和的距离判别方法，然后给出一般总体的判别方法。

思路：利用样本到总体的马氏距离进行判断。

$$d^2(y, G_1)=(y - \mu_1)'V^{-1}(y - \mu_1)\\ d^2(y, G_2)=(y - \mu_2)'V^{-1}(y - \mu_2)$$

样本到总体的距离差为:

$$d^2(y, G_1)-d^2(y, G_2)=-2\left(y - \frac{\mu_1 + \mu_2}{2}\right)'V^{-1}(\mu_1 - \mu_2)$$

记:

$$\bar{\mu}=\frac{\mu_1 + \mu_2}{2}\\ W(y)=(y - \bar{\mu})'V^{-1}(\mu_1 - \mu_2)$$

有:

$$d^2(y, G_1)-d^2(y, G_2)=-2W(y)$$

判别准则为:

$$\begin{cases}y \in G_1, & \text{若} W(y) \geq 0; \\ y \in G_2, & \text{若} W(y) < 0.\end{cases}$$

若记，则是的线性函数。

则称是线性判别函数，称是判别系数。

总体参数未知

当，和未知时，需要训练样本来估计总体的这些参数。

假设已知有总体的个样本，，，和总体的个样本，，。 令:

$$\bar{y}^{(1)}=\frac{1}{n_1}\sum_{i = 1}^{n_1}y_i^{(1)},\quad \bar{y}^{(2)}=\frac{1}{n_2}\sum_{i = 1}^{n_2}y_i^{(2)}\\ \begin{align} \hat{V}&=\frac{1}{n_1 + n_2 - 2}\left[\sum_{i = 1}^{n_1}(y_i^{(1)}-\bar{y}^{(1)})(y_i^{(1)}-\bar{y}^{(1)})'+\sum_{i = 1}^{n_2}(y_i^{(2)}-\bar{y}^{(2)})(y_i^{(2)}-\bar{y}^{(2)})'\right]\\ &\overset{\Delta}=\frac{1}{n_1 + n_2 - 2}[S_1 + S_2] \end{align}$$

需要注意的是表示离差阵、而表示协方差阵。此时的判别函数为：

$$W(y)=\left( y - \frac{\bar{y}^{(1)} + \bar{y}^{(2)}}{2} \right)'\hat{V}^{-1} (\bar{y}^{(1)} - \bar{y}^{(2)})$$

判别准则同上：

$$\begin{cases} y\in G_1, 若W(y)\ge0\\ y \in G_2,若W(y)< 0 \end{cases}$$

8.1.2 总体协方差不同—二次判别

假设有个总体，它们的均值和协差阵分别是。

总体参数已知

令：

$$D_i=\left\{y\in R^m:d^2(y,G_i)\leq\min_{1\leq j\leq k,j\neq i}d^2(y,G_j)\right\},\ 1\leq i\leq k$$

则判别规则为:

$$y属于总体G_i\ \text{if}y\in D_i,\ 1\leq i\leq k$$

总体参数未知

使用样本均值和样本协方差阵来估计样本，需要注意的是表示离差阵、而表示协方差阵。记:

$$\bar{y}^{(i)}=\frac{1}{n_i}\sum_{j = 1}^{n_i}y_j^{(i)},\ 1\leq i\leq k\\ \hat{V}_i=\frac{S_i}{n_i - 1},\ 1\leq i\leq k$$

8.5 误判概率

说是比较简单.

两个正态总体：此时，距离判别、贝叶斯判别和Fisher判别等价。

考虑两个正态总体的情形. 分别为和。判别函数为:

$$W(y)=(y - \frac{\mu_1+\mu_2}{2})'V^{-1}(\mu_1 - \mu_2)$$

记为样本来自而被误判为的概率，。则 :

$$P(2|1)=P\{W(y)\leq d|G_1\}\\ P(1|2)=P\{W(y)>d|G_2\}$$

其中为某个常数：距离判别，d=0.

Ch9 聚类分析

考点：

• K-means（普通/动态的一次迭代）

9.1 K-means

由于初始分类数k事先给定,且迭代过程中不断计算类的重心，故称该聚类方法为k均值法(k-means)：

—-	K-means
1. 初始分类	将几个个体初始分成k类,k事先给定.
2. 修改分类	计算初始k类的重心。然后对每个个体逐一计算它到初始k类的距离(通常用该个体到类的重心的欧氏距离)。若该个体到其原来的类的距离最近,则它保持类不变，否则它移入离其距离最近的类，重新计算由此变动的两个类的重心。
3. 重复迭代	在对所有个体都逐一进行验证,是否需要修改分类之后，重复步骤2),直到没有个体需要移动为止,从而得到最终分类.

9.2 动态K-means

事先给定3个数: 类别数k,阀值 和 , .

相较于K-means, 动态K-means在聚类过程中动态地调整聚类中心的数量 K。通常根据数据的分布和内部结构来自动确定合适的 K 值，避免了手动选择 K 值带来的不确定性。

—-	动态K-means
1. 选取聚点	取前k个个体作为初始聚点,计算这k个聚点两两之间的距离若最小的距离比小,则将最小距离的这两个聚点合并在一起,并用它们的重心作为新的聚点，重复上述过程,直到所有的聚点两两之间的距离都不比小时为止,因此，此时聚点的个数可能小于k.
2. 初始分类	对余下的n-k个个体逐一进行计算，对输入的一个个体，分别计算它到所有聚点的距离。若该个体到所有聚点的距离都大于，则它作为一个新的聚点，这时所有聚点两两之间的距离都不比小，否则将它归入离它最近的那一类，并重新计算接受该个体的那个类的重心以代替该类原来的聚点。然后重复步骤1)，再次验证所有聚点两两之间的距离是否都不比小，如果比小就将其合并，直到所有聚点两两之间的距离都不比小时止，该步完成后，聚点的个数可能小于k，也可能大于k。
3. 重复迭代	在对所有个体都逐一进行验证，是否需要修改分类之后，重复步骤2)，直到没有个体需要移动为止，从而得到最终分类。这时，最终个体的类别数不一定是 k。