协方差、相关系数与柯西不等式

这份笔记整理协方差、标准化、相关系数、向量夹角和柯西-施瓦茨不等式之间的关系。

核心直觉：

协方差看两个变量是否一起偏离平均值；相关系数把这种共同偏离标准化后，变成两个中心化向量夹角的余弦。

协方差：共同偏离平均值

设随机变量 $X,Y$ 的均值分别是：

$${\mu }_X=E[X],{\mu }_Y=E[Y]$$

协方差定义为：

$$\mathrm{Cov}(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

它看的是两件事：

• $X$ 比自己的平均值高或低；
• $Y$ 比自己的平均值高或低；
• 这两个偏离方向是否经常一致。

如果 $X-{\mu }_X$ 和 $Y-{\mu }_Y$ 经常同号，那么乘积多为正，协方差偏正。

如果它们经常异号，那么乘积多为负，协方差偏负。

如果方向没有明显规律，正负乘积互相抵消，协方差接近 $0$。

因此：

• ：两个变量倾向于同涨同跌；
• ：一个变量高于均值时，另一个倾向于低于均值；
• $\mathrm{Cov}(X,Y)\approx 0$：没有明显线性共同变化。

协方差的问题是受单位影响。比如身高用厘米还是米，协方差数值会改变。所以它很基础，但不总是最适合直接解释。

标准化：去掉单位和尺度

标准化就是把变量改写成“离均值多少个标准差”：

$$Z_X=\frac{X-{\mu }_X}{{\sigma }_X},Z_Y=\frac{Y-{\mu }_Y}{{\sigma }_Y}$$

其中：

$${\sigma }_X=\sqrt{\mathrm{Var}(X)},{\sigma }_Y=\sqrt{\mathrm{Var}(Y)}$$

标准化后：

$$E[Z_X]=0,E[Z_Y]=0$$

并且：

$$E[Z_X^2]=1,E[Z_Y^2]=1$$

这说明标准化后的变量没有单位，平均值为 $0$，方差为 $1$。它只保留“相对自己来说高了多少、低了多少”的信息。

这里容易疑惑的是：为什么标准化后 $E[Z_X^2]=1$？

关键是方差公式：

$$\mathrm{Var}(Z_X)=E[Z_X^2]-(E[Z_X]{)}^2$$

标准化后 $E[Z_X]=0$，并且 $\mathrm{Var}(Z_X)=1$，所以：

$$1=E[Z_X^2]-0^2$$

因此：

$$E[Z_X^2]=1$$

更直接地看：

$$\mathrm{Var}(Z_X)=\mathrm{Var}\left(\frac{X-{\mu }_X}{{\sigma }_X}\right)=\frac{1}{{\sigma }_X^2}\mathrm{Var}(X)=\frac{{\sigma }_X^2}{{\sigma }_X^2}=1$$

相关系数：标准化后的协方差

相关系数定义为：

$${\rho }_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$$

把协方差展开：

$${\rho }_{X,Y}=E[\frac{X-{\mu }_X}{{\sigma }_X}\cdot \frac{Y-{\mu }_Y}{{\sigma }_Y}]$$

也就是：

$${\rho }_{X,Y}=E[Z_X{Z}_Y]$$

所以相关系数衡量的是：

两个变量标准化后的偏离方向，是否经常一致。

如果 $X$ 高于平均值时 $Y$ 也常常高于平均值，$Z_X{Z}_Y$ 多为正，相关系数偏正。

如果 $X$ 高于平均值时 $Y$ 常常低于平均值，$Z_X{Z}_Y$ 多为负，相关系数偏负。

如果偏离方向没有规律，正负抵消，相关系数接近 $0$。

相关系数比协方差更容易解释，因为它没有单位，并且一定落在 $[-1,1]$。

为什么相关系数的绝对值不超过 1

令：

$$A=Z_X,B=Z_Y$$

那么：

$${\rho }_{X,Y}=E[AB]$$

又因为标准化后：

$$E[A^2]=1,E[B^2]=1$$

由柯西-施瓦茨不等式：

$$|E[AB]|\le \sqrt{E[A^2]E[B^2]}$$

代入 $E[A^2]=1$ 和 $E[B^2]=1$：

$$|{\rho }_{X,Y}|=|E[AB]|\le \sqrt{1\cdot 1}=1$$

因此：

$$-1\le {\rho }_{X,Y}\le 1$$

这就是相关系数范围固定在 $[-1,1]$ 的原因。

柯西-施瓦茨不等式

向量形式的柯西-施瓦茨不等式是：

$$|a\cdot b|\le |a||b|$$

展开成求和形式：

$$\left|\sum _{i=1}^n{a}_i{b}_i\right|\le \sqrt{\sum _{i=1}^n{a}_i^2}\sqrt{\sum _{i=1}^n{b}_i^2}$$

也常写成：

$${\left(\sum _{i=1}^n{a}_i{b}_i\right)}^2\le \left(\sum _{i=1}^n{a}_i^2\right)\left(\sum _{i=1}^n{b}_i^2\right)$$

概率形式是：

$$|E[AB]|\le \sqrt{E[A^2]E[B^2]}$$

这可以理解为把随机变量当成某种“向量”，把 $E[AB]$ 当成类似点积的东西。

所以前面说“柯西不等式”，更严格地说是“柯西-施瓦茨不等式”。在很多语境里，它也会被简称为柯西不等式。

把数据看成向量

假设有三个人的数据：

人	学习时间 $X$	成绩 $Y$
A	1	2
B	2	4
C	3	6

先把每一列看成一个向量：

$$X=(1,2,3),Y=(2,4,6)$$

相关系数不是直接看原始向量，而是先减去各自平均值。

$X$ 的平均值是 $2$，$Y$ 的平均值是 $4$，所以中心化后：

$$x=X-\overline{X}=(-1,0,1)$$$$y=Y-\overline{Y}=(-2,0,2)$$

然后计算两个中心化向量夹角的余弦：

$$r=\frac{x\cdot y}{|x||y|}$$

点积为：

$$x\cdot y=(-1)(-2)+0\cdot 0+1\cdot 2=4$$

长度为：

$$|x|=\sqrt{(-1{)}^2+0^2+1^2}=\sqrt{2}$$$$|y|=\sqrt{(-2{)}^2+0^2+2^2}=\sqrt{8}$$

所以：

$$r=\frac{4}{\sqrt{2}\sqrt{8}}=1$$

因为：

$$y=2x$$

两个中心化向量方向完全一致，所以相关系数是 $1$。

如果成绩改成：

$$Y=(6,4,2)$$

中心化后：

$$y=(2,0,-2)$$

这时：

$$y=-2x$$

两个中心化向量方向完全相反，所以相关系数是 $-1$。

向量夹角的解释

把中心化后的数据向量记为 $x,y$，样本相关系数可以写成：

$$r=\frac{x\cdot y}{|x||y|}$$

这正是两个向量夹角 $\theta$ 的余弦：

$$r=\cos \theta$$

因此：

• $r=1$：夹角是 $0^{\circ }$，方向完全一致；
• $r=-1$：夹角是 ${180}^{\circ }$，方向完全相反；
• $r=0$：夹角是 ${90}^{\circ }$，方向正交，没有线性共同变化。

这也是为什么相关系数的绝对值不会超过 $1$。从几何上看，余弦值本来就只能在 $[-1,1]$ 之间。

需要注意的点

相关系数很有用，但要注意三件事：

第一，它衡量的是线性共同变化。如果两个变量之间是明显非线性关系，相关系数可能接近 $0$，但这不代表它们没有关系。

第二，相关不等于因果。两个变量一起变化，不一定是一个导致另一个。

第三，如果某个变量的标准差是 $0$，也就是它完全不变，那么相关系数没有定义。因为这时不存在“偏离自己平均值”的变化可以比较。

总结

这几个概念可以串成一条线：

1. 协方差看两个变量是否一起偏离平均值。
2. 标准化把变量变成“离均值几个标准差”，消除单位和尺度。
3. 相关系数是标准化后的协方差。
4. 把数据看成向量时，相关系数就是中心化向量夹角的余弦。
5. 柯西-施瓦茨不等式保证了这个余弦式的绝对值不会超过 $1$。

所以相关系数不是凭空定义出来的数，而是协方差、标准化、向量点积和柯西-施瓦茨不等式自然合在一起的结果。