当前位置：首页 > news >正文

随机变量数字特征

news 来源：原创 2025/7/17 5:46:36

主要介绍一维随机变量期望和方差、二维随机变量期望和方差、以及协方差相关公式，及推导。

一维随机变量

以一个抛硬币的场景作为例子，如下：

抛掷两枚均匀硬币，如果两枚都是正面向上，则赢得2元，否则就输掉1元。某人进行了 100次，结果如下表，求赢钱的平均值和方差

HH	HT	TH	TT
30	20	30	20

又有，分布律：
其中随机变量对应示例中的赢钱金额

随机变量 $X$	2	-1
频率 $f$	0.3	0.7
概率 $p$	0.25	0.75

1. 期望与方差

平均值记为 $\bar{x}$
$\begin{aligned} \bar{x}&= \frac{1}{n}\sum_{i=1}^nx_i = \sum_{i=1}^nx_i*f_i \\ &= 2*0.3+(-1)*0.7 \\ &= -0.1 \end{aligned}$

随机变量（赢钱金额）的数学期望为：
$\begin{aligned} E(x) &= \sum_{i=1}^nx_i*p_i \\ &= 2*0.25 + (-1)*0.75=-0.25 \end{aligned}$

平均值：通过频率 $f$ 计算出来的均值。
数学期望：通过概率 $p$ 计算出来的均值。

对于均值, 方差为
$s^2 = \frac{1}{n}\sum_{i=1}^n(x_i - \bar{x})^2$
计算结果 $s^2=(2+0.1)^2*0.3 + (-1+0.1)^2*0.7=1.89$

对于期望, 方差可以理解为上述中的均值改为期望，频率改为概率。（实际样本方差求平均时，分母是 n-1）

由此基础，我们引出方差的公式：

$D(X) = E(X - E(X))^2$

数学期望和方差（标准差）分别反映了随机变量分布的中心位置与集散程度。

2. 期望与方差性质

常数 c 的期望和方差：
$\sum_{i=1}^n c*p_i=c\sum_{i=1}^np_i=c$
$D(c)=E(c - E(c))^2 = E(c - c)^2=0$

常数与随机变量的乘积：
$E(cX)=\sum_{i=1}^nc*x_i*p_i=cE(X)$
$D(cX)=E(cX - E(cX))^2=c^2E(X-E(X))^2=c^2D(X)$

随机变量和：
$E (X + Y) = E (X) + E (Y)$
$\color{red}{D(X+Y)=D(X)+D(Y)}$

X、Y相互独立时, 红色亮显公式D(X+Y) 才成立。

方差的计算公式：
$\begin{aligned} D(X) &=E(X-E(X))^2 \\ &= E[X^2 - 2XE(X) + (E(X))^2] \\ &=E(X^2) - E(2XE(X)) + E[(E(X))^2] \\ &= E(X^2) - 2(E(X))^2 + (E(X))^2 \\ &= E(X^2) - (E(X))^2 \end{aligned}$

二维随机变量

1. 期望

二维离散型随机变量 (X, Y) 的分布律：
$P\{X=x_i, Y=y_j\}=p_{ij} \quad i,j=1,2,...$
二维连续型随机变量 (X, Y) 的概率密度函数 $f (x, y)$

假设二维随机变量的函数为 $g (X, Y)$ ，则：
离散场景：
${\color{blue}{\sum_{i=0}^n \sum_{j=0}^n}}{\color{purple}{g(x_i, y_j)}}{\color{green}{p_{ij}}}$

连续场景：
$={\color{blue}{\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}}} \, {\color{purple}{g(x, y)}} \, {\color{green}{f(x, y) \, dx \, dy}}$

无论离散还是连续，都可以理解为三方部分：求和、函数值、概率，的乘积。

2. 期望的性质

例如： $g (X, Y) = X + Y$

1）和的期望等于期望的和
$\begin{aligned} E(X + Y) &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} (x+y)f(x, y)dxdy \\ &=\int_{-\infty}^{+\infty}x(\int_{-\infty}^{+\infty}f(x, y)dy)dx + \int_{-\infty}^{+\infty}y(\int_{-\infty}^{+\infty}f(x, y)dx)dy \\ &=\int_{-\infty}^{+\infty}xf_Xdx + \int_{-\infty}^{+\infty}yf_Ydy \\ &=E(X) + E(Y) \end{aligned}$

推广：
$E(\sum_{k=1}^nX_k) = \sum_{k=1}^nE(X_k)$

2）若随机变量X、Y相互独立，则 E(XY) = E(X)E(Y)
$\begin{aligned} E(XY) &=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} xy{\color{red}{f(x,y)}}dxdy \\ &=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} xy{\color{red}{f_X(x)f_Y(y)}}dxdy \\ &=\int_{-\infty}^{+\infty}xf_X(x)dx \cdot \int_{-\infty}^{+\infty}yf_Y(y)dy \\ &= E(X) \cdot E(Y) \end{aligned}$

其中绿色部分是有变量 X、Y相互独立得出

3. 协方差

例如： $g (X, Y) = X + Y$

$\begin{aligned} D(X+Y) &= E(X+Y)^2 - (E(X+Y))^2 \\ &= E(X+Y)^2 - (E(X) + E(Y))^2 \\ &=E(X^2) + E(Y^2) + 2E(XY) - (E(X))^2 - (E(Y))^2 - 2 E(X)E(Y) \\ &=D(X) + D(Y) + 2({\color{blue}{E(XY) - E(X)E(Y)}}) \end{aligned}$

定义上述式子中蓝色部分为协方差，即
$C o v (X, Y) = E (X Y) - E (X) E (Y)$

等价表达式：
$Cov(X, Y) = E\{[X - E(X)][Y-E(Y)]\}$

4. 协方差性质

性质1 若随机变量X、Y相互独立，则 $C o v (X, Y) = 0$ ，反之不然
性质2 $D (X + Y) = D (X) + D (Y) + 2 C o v (X, Y)$
性质3 $C o v (X, X) = D (X)$
性质4 $C o v (a X, b X) = ab C o v (X, Y)$
性质5 $Cov(X_1 + X_2, Y)=Cov(X_1, Y) + Cov(X_2, Y)$

5. 标准化

随机变量 X,Y 标准化:
$X^* = \frac{X-E(X)}{\sqrt{D(X)}}=\frac{X-\mu_1}{\sigma_1}$
$Y^* = \frac{Y-E(Y)}{\sqrt{D(Y)}}=\frac{Y-\mu_2}{\sigma_2}$

可以推出：
$E(X^*) = E(\frac{X-\mu_1}{\sigma_1})=\frac{1}{\sigma_1}(E(X)-\mu_1)=0$

$D(X^*) = D(\frac{X-\mu_1}{\sigma_1})=\frac{1}{\sigma_1^2}D(X)=1$

可以推出：任意随机变量经过标准化后其期望为0，方差为1

随机变量 X,Y 的相关系数:
$\begin{aligned} Cov(X^*, Y^*) &=Cov(\frac{X-\mu_1}{\sigma_1}, \frac{Y-\mu_2}{\sigma_2}) \\ &= \frac{1}{\sigma_1\sigma_2} \cdot Cov(X, Y) \\ &= {\color{blue}{\frac{Cov(X, Y)}{\sqrt{D(X)} \cdot \sqrt{D(Y)}}}} \end{aligned}$

上述式子中的蓝色部分定义为相关系数，即
$\rho_{xy}=\frac{Cov(X, Y)}{\sqrt{D(X)} \cdot \sqrt{D(Y)}}$

其中，相关系数恒在 -1 到 1 之间。

矩估计

	样本矩（频率分布）	总体矩（概率分布）
k阶矩	$\alpha_k=\frac{1}{n}\sum_{i=1}^nx_i^k$	$E(X^k)=A_k$
样本均值	$\bar{x}=\alpha_1$	$E(X)=A_1$
样本方差	$s^2=\frac{1}{n-1}(\sum_{i=1}^nx_i^2 - n\bar{x}^2) =\frac{n}{n-1}(\alpha_2 - \alpha_1^2)$	$D(X)=E(X^2)-(E(X))^2=A_2 - A_1^2$

补充：
一维随机样本方差公式
$s^2 = \frac{\sum_{i=1}^n(x_i - \bar{x})^2}{n-1}$
二维随机样本协方差公式
$Cov_{xy}=\frac{\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)}{n-1}$

协方差反映的是两个维度之间的相关性
二维以上计算协方差用的是协方差矩阵,反映的是各个维度之间的关系

问题1：为什么样本方差公式中分母是 n-1

场景：求 $\alpha$ 取到何值时， $f(\alpha)=\sum_{i=1}^n(X_i - \alpha)$ 取到极小值？

原式子：
$f(\alpha)=(x_1-\alpha)^2 + (x_2-\alpha)^2 + ... +(x_n-\alpha)^2$

求一阶导数，让其等于0
$f'(\alpha)=-(2(x_1-\alpha)+2(x_2-\alpha)+...+2(x_n-\alpha))=0$
得
$\begin{aligned} 2(x_1-\alpha)+2(x_2-\alpha)+...+2(x_n-\alpha) = 0 \end{aligned}$
$\begin{aligned} (x_1+x_2+...+x_n) - n\alpha= 0 \end{aligned}$
$\begin{aligned} \alpha = \frac{x_1+x_2+...+x_n}{n} = \bar{x} \end{aligned}$

这样我们就有结论：
$\sum_{i=1}^n(X_i- \mu)^2 \geq \sum_{i=1}^n(X_i-\bar{X})^2$

其中 $\mu$ 是总体的均值即期望， $\bar{X}$ 是样本的均值。
如果样本方差分母仍然保持 n，那有上面的不等式，可知样本方差就不能很好的估计总体方差了

所以，为了更准确估计总体，需要调小样本方差公式的分母，让其小于n，但需要小多少？

从自由度角度理解为什么样本方差分母是 n-1
样本方差分母应是其对应的自由度

自由度，是计算某一统计量，取值不受限的变量个数。

简单理解，就是能贡献信息的变量个数

求样本均值时，用到了 $\bar{X}=\frac{x_1+x_2+...+x_n}{n}$ ，由于公式分子中引入了 $\bar{X}$ 也就相当于增加了一个约束条件，在约束条件下，有效变量个数是 n-1。

因为第n个变量，可以有约束条件计算出来，即 $x_n=n\bar{X}-(x_1+x_2+...+x_{n-1})$

公式推导

什么是无偏估计量？当我们用样本统计量来估计总体参数时，如果估计量的数学期望等于被估计参数的真实值，我们称该估计量为被估计参数的无偏估计。

样本统计量 $s^2$ ，总体参数 $\sigma^2$ 。无偏估计即为：
$E(S^2)=\sigma^2$
证明上述等式：
$\begin{aligned} E(s^2)&=E\left(\frac{1}{n-1}\sum_{i=1}^n(x_i - \bar{x})^2\right)\\ &=E\left(\frac{1}{n-1}\sum_{i=1}^n(x_i - \mu + \mu - \bar{x})^2 \right)\\ &=E\left(\frac{1}{n-1}\sum_{i=1}^n((x_i - \mu) + (\mu - \bar{x}))^2\right) \\ &=E\left(\frac{1}{n-1}\sum_{i=1}^n((x_i - \mu)^2 + 2(x_i-\mu)(\mu - \bar{x}) + (\mu-\bar{x})^2)\right) \\ &=E\left(\frac{1}{n-1}\sum_{i=1}^n(x_i-\mu)^2\right) + E\left(\frac{1}{n-1}\sum_{i=1}^n2(x_i-\mu)(\mu-\bar{x})\right) + E\left(\frac{1}{n-1}\sum_{i=1}^n(\mu-\bar{x})^2\right) \end{aligned}$
第一部分：
$\begin{aligned} E\left(\frac{1}{n-1}\sum_{i=1}^n(x_i-\mu)^2\right) &= \frac{1}{n-1}\sum_{i=1}^n{\color{red}{E(x_i - \mu)^2}} \\ &= \frac{1}{n-1}\sum_{i=1}^n{\color{red}{\sigma^2}} \\ &=\frac{n}{n-1}{\color{red}{\sigma^2}} \end{aligned}$
第二部分：
$\begin{aligned} E\left(\frac{1}{n-1}\sum_{i=1}^n2(x_i-\mu)(\mu-\bar{x})\right) &=\frac{2}{n-1}E\left(\sum_{i=1}^n(x_i - \mu)(\mu-\bar{x})\right) \\ &=\frac{2}{n-1}E\left((\mu-\bar{x}){\color{red}{\sum_{i=1}^n(x_i - \mu)}}\right) \\ &=\frac{2}{n-1}E\left( (\mu-\bar{x}){\color{red}{n(\bar{x}-\mu)}} \right) \\ &=\frac{2(-n)}{n-1}E\left( (\bar{x}-\mu)^2\right) \\ \end{aligned}$
第三部分：
$\begin{aligned} E\left(\frac{1}{n-1}\sum_{i=1}^n(\mu-\bar{x})^2\right) &= E\left( \frac{n}{n-1}(\mu-\bar{x})^2\right) \\ &=\frac{n}{n-1}E\left( (\mu-\bar{x})^2\right) \end{aligned}$

由此可知，原式子：
$\begin{aligned} E(s^2) &= \frac{n}{n-1}\sigma^2 + \frac{2(-n)}{n-1}E\left( (\bar{x}-\mu)^2\right) + \frac{n}{n-1}E\left( (\mu-\bar{x})^2\right) \\ &=\frac{n}{n-1}\sigma^2 + \frac{(-n)}{n-1}{\color{red}{E\left( (\bar{x}-\mu)^2\right)}} \\ &=\frac{n}{n-1}\sigma^2 + \frac{(-n)}{n-1}{\color{red}{ \frac{1}{n} \sigma^2}} \\ &= \sigma^2 \end{aligned}$

其中，样本均值是无偏的，可得：
$\begin{aligned} E\left( (\bar{x}-\mu)^2\right) &= E(\bar{x}-E(\bar{x}))^2 =var(\bar{x}) \\ &=var\left( \frac{\sum_{i=1}^nx_i}{n} \right) \\ &=\frac{1}{n^2}var\left( \sum_{i=1}^nx_i \right) \\ &=\frac{1}{n^2} \sum_{i=1}^n {\color{red}{var(x_i)}} \\ &=\frac{1}{n^2} n {\color{red}{\sigma^2}} = \frac{1}{n} \sigma^2 \end{aligned}$

$x_i$ 之间是相互独立的，所以 $var\left( \sum_{i=1}^nx_i \right)= \sum_{i=1}^n var(x_i)$

问题2：多维随机变量的协方差矩阵怎么计算？

二维随机样本协方差公式
$Cov_{xy}=\frac{\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)}{n-1}$

多维的情况下，是两两协方差
总体协方差时，分母是 n；样本协方差时，分母是 n-1

举例：多维数据如下

Student	Math	English	Art
1	90	60	90
2	90	90	30
3	60	60	60
4	60	60	90
5	30	30	30

第一步：计算均值
Math：66，English：60，Art：60
即均值向量为 $\bm{\mu}=(66, 60, 60)$

第二步：计算差值矩阵
均值向量按照数据数量（示例中是5）纵向展开，得到均值矩阵，原数据矩阵与均值矩阵作差

$\begin{aligned} A &= \begin{bmatrix} 90 & 60 & 90 \\ 90 & 90 & 30 \\ 60 & 60 & 60 \\ 60 & 60 & 90 \\ 30 & 30 & 30 \end{bmatrix} - \begin{bmatrix} 66 & 60 & 60 \\ 66 & 60 & 60 \\ 66 & 60 & 60 \\ 66 & 60 & 60 \\ 66 & 60 & 60 \\ \end{bmatrix} \\ &= \begin{bmatrix} 24 & 0 & 30 \\ 24 & 30 & -30 \\ -6 & 0 & 0 \\ -6 & 0 & 30 \\ -36 & -30 & -30 \\ \end{bmatrix} \end{aligned}$

第三步：根据差值矩阵，计算维度彼此间的协方差
$\boldsymbol{\Sigma} = \begin{bmatrix} Cov_{11} & Cov_{12} & Cov_{13} \\ Cov_{21} & Cov_{22} & Cov_{23} \\ Cov_{31} & Cov_{32} & Cov_{33} \\ \end{bmatrix}$

结合二维随机变量协方差公式，可得
为了方便公式书写，计算都没有除以 n
$\begin{aligned} n \cdot Cov_{11}&=\sum_{i=1}^n A_{i1} \cdot A_{i1} \\ &= 24*24 + 24*24 + (-6)*(-6) + (-6)*(-6) + (-36)*(-36) \\ &= 2520 \end{aligned}$
$\begin{aligned} n \cdot Cov_{23}&=\sum_{i=1}^n A_{i2} \cdot A_{i3} \\ &= 0*30 + 30*(-30) + 0*0 + 0*30 + (-30)*(-30) \\ &= 0 \end{aligned}$

依次计算可得：
$\boldsymbol{\Sigma} = \frac{1}{n} \cdot \begin{bmatrix} 2520 & 1800 & 900 \\ 1800 & 1800 & 0 \\ 900 & 0 & 3600 \\ \end{bmatrix} = \begin{bmatrix} 504 & 360 & 180 \\ 360 & 360 & 0 \\ 180 & 0 & 720 \\ \end{bmatrix}$

这里我们把原始数据集当做总体，协方差公式的分母用 n

至此，结束。