当前位置：首页 > news >正文

多元随机变量协方差矩阵

news 来源：原创 2025/7/15 17:07:56

主要记录多元随机变量数字特征相关内容。

关键词：多元统计分析

二元随机变量(X, Y)

说明：可以理解变量中的 X为身高、Y为体重

总体协方差
$\sigma_{XY}=cov(X, Y)=E[(X - \mu_X)(Y - \mu_Y)] = E(XY)-\mu_X\mu_Y$

总体相关系数
$\rho_{XY}=corr(X, Y) = \sigma_{XY} / (\sigma_{X}\sigma_{Y})$

总体相关系数取值范围 $[- 1, 1]$

二元随机样本

${(x_1, y_1), ..., (x_n, y_n)\}$

样本协方差
$s_{xy}=\frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})(y_i - \bar{y})$

样本相关系数
$r_{xy} = s_{xy} / (s_xs_y)$

样本相关取值范围 $[- 1, 1]$

性质

性质1
$\sigma_{XY}=0 \Leftrightarrow X和Y 是不相关/线性独立的$

线性独立不等于独立
特例：如果X和Y服从二元正态分布，那么我们有
$\sigma_{XY}=0 \Leftrightarrow X和Y 是独立的$

多元数据特征

现有 $n$ 个样本点，每个样本点包含 $p$ 个变量的观测，则数据集可以表示为 $\times p$ 矩阵
$\begin{pmatrix} y_{11} & ... & y_{1j} & ... & y_{1p} \\ ... & ... & ... & ... & ... \\ y_{i1} & ... & y_{ij} & ... & y_{ip} \\ ... & ... & ... & ... & ... \\ y_{n1} & ... & y_{nj} & ... & y_{np} \\ \end{pmatrix} = \begin{pmatrix} y_1^\top \\ ... \\ y_2^\top \\ ... \\ y_n^\top \end{pmatrix}$

其中 $y_i = (y_{i1}, ..., y_{ip})^\top$ 由 Y 的第 $i$ 行构成，表示第 $i$ 个样本

均值向量

对于总体 $\bm{y}=(Y_1, ..., Y_p)^\top$

这里的 $\bm{y}$ 是随机向量

期望：
$E(\bm{y})=(E(Y_1), ..., E(Y_p))^\top=(\mu_1, ..., \mu_p)^\top=\bm{\mu}$

对于样本 $\{ \bm{y_1}, \bm{y_2}, ..., \bm{y_n} \}$

$\bar{\bm{y}} = \frac{1}{n}\sum_{i=1}^n \bm{y_i}=(\bar{y_1}, ..., \bar{y_p})^\top$

其中 $\bar{y_j}=\frac{1}{n}\sum_{i=1}^n y_{ij}, E(\bar{\bm{y}})=\bm{\mu}$

协方差矩阵

对总体 随机向量 $\bm{y}=(Y_1, ..., Y_p)^\top, p \times p$ 总体协方差矩阵定义为：
$\begin{aligned} \boldsymbol{\Sigma} &= Cov(\bm{y}) = E[(\bm{y}-\bm{\mu})(\bm{y}-\bm{\mu})^\top] \\ &=\begin{pmatrix} \sigma_{11} & \sigma_{12} & ... & \sigma_{1p} \\ \sigma_{21} & \sigma_{22} & ... & \sigma_{2p} \\ ... & ... & ... & ... \\ \sigma_{p1} & \sigma_{p2} & ... & \sigma_{pp} \\ \end{pmatrix} \end{aligned}$

其中，
$\sigma_{jk}$ 为 $Y_j$ 和 $Y_{k}$ 之间的协方差， $\sigma_{jj}=\sigma_{j}^2$ 为 $Y_j$ 的方差。

对样本 随机样本 $\{ \bm{y_1}, ..., \bm{y_n} \}, p \times p$ 样本协方差矩阵定义为：
$\begin{aligned} \bm{S} &= \frac{1}{n-1}\sum_{i=1}^n (\bm{y_i}-\bar{\bm{y}}) (\bm{y_i}-\bar{\bm{y}})^\top \\ &= \begin{pmatrix} s_{11} & s_{12} & ... & s_{1p} \\ s_{21} & s_{22} & ... & s_{2p} \\ ... & ... & ... & ... \\ s_{p1} & s_{p2} & ... & s_{pp} \\ \end{pmatrix} \end{aligned}$

其中，
$s_{jk}=\frac{1}{n-1}\sum_{i=1}^n(y_{ij}-\bar{y_j})(y_{kj}-\bar{y_k})$
$s_{jj}=s_{j}^2=\frac{1}{n-1}\sum_{i=1}^n(y_{ij}- \bar{y_j})^2$

性质1 $\boldsymbol{\Sigma}$ 和 $\bm{S}$ 是对称的
性质2 $\boldsymbol{\Sigma}$ 是 $\bm{S}$ 的无偏估计，也即 $E(\bm{S})=\boldsymbol{\Sigma}$
性质3 $\bar{\bm{y}}$ 的协方差矩阵是 $Cov(\bar{\bm{y}})=\frac{\boldsymbol{\Sigma}}{n}$

性质3，对应一维情况是相似的，即样本均值的方差 $Cov(\bar{x})=\sigma^2/n.$

总体相关系数矩阵

$\bm{P}= (\rho_{jk}) = \begin{pmatrix} 1 & \rho_{12} & ... & \rho_{1p} \\ \rho_{21} & 1 & ... & \rho_{2p} \\ ... & ... & ... & ... \\ \rho_{p1} & \rho_{p2} & ... & 1 \end{pmatrix}$

其中 $\rho_{jk}=\sigma_{jk} / (\sigma_j \sigma_k)$ 为 $Y_{j}$ 与 $Y_{k}$ 之间的总体相关系数

样本相关系数矩阵

对随机样本 $\{\bm{y_1}, ..., \bm{y_n}\}$ 来说，
$\bm{R}= (r_{jk}) = \begin{pmatrix} 1 & r_{12} & ... & r_{1p} \\ r_{21} & 1 & ... & r_{2p} \\ ... & ... & ... & ... \\ r_{p1} & r_{p2} & ... & 1 \end{pmatrix}$

其中 $r_{jk}=s_{jk} / \sqrt{s_{jj}s_{kk}}=s_{jk} / (s_js_k)$ 为第 $j$ 和第 $k$ 个变量之间的样本相关系数