线性相关与线性无关

线性相关与线性无关

flyfish

线性相关与无关的本质 ——是否存在冗余向量，使得部分向量可被其他向量的线性组合表示。

线性相关：存在冗余向量（可被线性组合表示）

例子1：二维共线向量（最直观的冗余）

• 向量组：$a=(1,2)$，$b=(2,4)$
  $b=2a$，即$b$是$a$的冗余向量（可被$a$的线性组合表示）。
  $2a-b=0$，存在非零系数（2和-1）证明相关。

例子2：三维空间中“面内冗余”

• 向量组：$u=(1,0,0)$，$v=(0,1,0)$，$w=(1,1,0)$
  $w=u+v$，即$w$是$u$和$v$在xy平面内的冗余向量。
  $u+v-w=0$，非零系数存在，故线性相关。

例子3：函数空间中的冗余函数

• 函数组：$f(x)=1$，$g(x)={\cos }^{2}x$，$h(x)={\sin }^{2}x$
  由三角恒等式知$h(x)=1-g(x)$，即$h(x)$可被$f(x)$和$g(x)$的线性组合表示。
  $f(x)-g(x)-h(x)=0$，存在非零系数（1, -1, -1），属于线性相关。

线性无关：无冗余向量（不可被线性组合表示）

例子1：二维平面的基底向量（无冗余的“独立方向”）

• 向量组：$m=(1,0)$，$n=(0,1)$
  $m$是x轴方向，$n$是y轴方向，彼此无法用对方的倍数表示（$m\ne kn$，$k$为任意数）。
• 验证：若$k_{1}m+k_{2}n=0$，则必有$k_1=k_2=0$，无冗余向量，故线性无关。

例子2：三维空间的标准正交基（三维无冗余）

• 向量组：$i=(1,0,0)$，$j=(0,1,0)$，$k=(0,0,1)$
  三个向量分别对应x、y、z轴，任意一个向量都无法用另外两个的线性组合表示（如$i\ne kj+lk$）。
• 结论：三维空间中3个非共面向量无冗余，线性无关。

例子3：指数函数与幂函数的独立性（函数空间的无关性）

• 函数组：$f(x)=e^x$，$g(x)=x$
  不存在常数$k_1,k_2$（不全为0）使得$k_1{e}^x+k_{2}x=0$对所有$x$成立（指数函数和一次函数形态完全不同，无法互相“拼凑”）。
• 验证：假设存在非零系数，令$x=0$得$k_1=0$，再令$x=1$得$k_2=0$，矛盾，故线性无关。

高维空间中的“冗余必然”：向量数超过维度必相关

• 例子：4个三维向量$a,b,c,d$（每个向量含x,y,z三个分量）
  三维空间最多有3个独立方向（如$i,j,k$），第4个向量无论如何都是前3个向量的冗余——就像3条直线可确定三维空间所有方向，第4条直线必在已有方向的组合中。
• 数学结论：n维空间中，若向量数>n，则必存在冗余向量，即线性相关。

“信息冗余”

• 线性相关（有冗余）：
  三句话“今天下雨”“雨天路滑”“今天地面湿”——第三句话可被前两句的逻辑组合推出（下雨→路滑→地面湿），存在信息冗余。
• 线性无关（无冗余）：
  三句话“今天周一”“北京下雨”“我要上班”——每句话都是独立信息，无法用另外两句组合得到第三句，无冗余。