范数

绪论

张瑞
中国科学技术大学数学科学学院

范数

向量范数

定义 1.
线性空间$V$上有映射$P:V\to\mathbb{R}$，若映射$P$满足，

  • (非负性) $P(v)\geq 0$, $\forall v\in V$；而且$P(v)=0$的充要条件是$v=0$；
  • (齐次性) $P(\alpha v)=|\alpha| P(v)$, $\forall \alpha \in \mathbb{R}$, $\forall v\in V$；
  • (三角不等式) $P(u+v)\leq P(u)+P(v)$, $\forall u,v\in V$；

则称$P(v)$是$V$上的范数。通常记为$\|v\|$。

定义 2.
两个向量$x$,$y$的距离定义为$\|x-y\|$。

例 1. $\mathbb{R}^n$空间中，三种常见的范数。$x=(x_1,\cdots,x_n)^T\in\mathbb{R}^n$

  • (1-范数) $\displaystyle \|x\|_1=\sum_{i=1}^n|x_i|$
  • (2-范数) $\displaystyle \|x\|_2=\sqrt{\sum_{i=1}^n x_i^2}$
  • ($\infty$-范数) $\displaystyle \|x\|_\infty=\max_{i=1,\cdots,n}|x_i|$

例 2. 若$x=(x_1,x_2,x_3)^T\in\mathbb{R}^3$，则如下定义能否成为范数？

  1. $|x_1|+3|x_2|+4|x_3|$
  2. $|x_1|+|3x_2+4x_3|$
  3. $|x_1|+|3x_2+4x_3|+|x_3|$
  4. $|x_1|+\sqrt{x_2^2+x_3^2}$
  5. $|x_1|+{x_2^2}+|x_3|$

解. 按照范数的3个要求，逐一验证即可。

定理 1. (范数的等价性)
若$\|v\|_p$与$\|v\|_q$是向量$v$的两种范数，则存在与$v$无关的常数$c_1$, $c_2$使得

\[c_1\|v\|_p\leq \|v\|_q\leq c_2\|v\|_p , \forall v \]

证明. 略

例 3. $\mathbb{R}^n$空间上常见的三种范数，有如下的等价关系

\[\begin{aligned} \|x\|_2\leq\|x\|_{1}\leq\sqrt{n}\|x\|_2 \\ \|x\|_{\infty}\leq\|x\|_2\leq\sqrt{n}\|x\|_{\infty} \\ \|x\|_{\infty}\leq\|x\|_1\leq\sqrt{n}\|x\|_{\infty} \end{aligned} \]

矩阵范数

定义 3.
矩阵$A\in\mathbb{R}^{n\times n}$，向量$x\in\mathbb{R}^n$，$\|x\|_p$为$x$的范数，则矩阵$A$的范数定义为

\[\|A\|_p=\max_{x\neq 0}\frac{\|Ax\|_p}{\|x\|_p} \]

也可以写成

\[\|A\|_p=\max_{\|x\|_p=1}{\|Ax\|_p} \]

定理 2.
矩阵$A\in\mathbb{R}^{n\times n}$，向量$x\in\mathbb{R}^n$，则矩阵范数$\|A\|$满足

  1. $\|A\|\geq0$，且$\|A\|=0$的充要条件是$A=0$；
  2. $\|\alpha A\|=|\alpha|\|A\|$，$\forall \alpha\in\mathbb{R}$；
  3. $\|A+B\|\leq\|A\|+\|B\|$；
  4. $\|AB\|\leq \|A\|\cdot\|B\|$；
  5. $\|Ax\|\leq\|A\|\cdot\|x\|$；

证明. 由矩阵范数的定义，直接可以得到性质1,2,5。性质3,4可以由性质5和矩阵范数的定义得到。

性质4

任取$\|x\|=1$，则

\[\|ABx\|\leq \|A\|\cdot\|Bx\|\leq\|A\|\cdot\|B\|\cdot\|x\| \]

则有

\[\|AB\|=\max_{\|x\|=1}{\|ABx\|}\leq\|A\|\cdot\|B\| \]

即性质4成立。

性质3

任取$\|x\|=1$，则

\[\begin{aligned} \|(A+B)x\|=&\|Ax+Bx\|\leq \|Ax\|+\|Bx\| \\ \leq& \|A\|\|x\|+\|B\|\|x\| \leq(\|A\|+\|B\|) \end{aligned} \]

从而有

\[\|A+B\|=\max_{\|x\|=1}\|(A+B)x\|\leq \|A\|+\|B\| \]

定理 3.
矩阵范数也是等价的

定理 4.
如果$\lambda$是矩阵$A$的特征值，则$|\lambda|\leq\|A\|$

证明. 由题，存在非零向量$x$为$A$的特征向量，满足

\[\lambda x=A x \]

则

\[\begin{aligned} \|\lambda x\|=&\|A x\| \\ \|\lambda x\|=&|\lambda|\cdot\|x\|=\|A x\|\leq \|A\|\cdot\|x\| \end{aligned} \]

这样，有

\[\|A\|\geq\frac{\|A\|\cdot\|x\|}{\|x\|}=|\lambda| \]

定义 4.
矩阵$A$有特征值$\lambda_1$, $\lambda_2$, $\cdots$, $\lambda_n$，记$\rho(A)$为

\[\rho(A)=\max_r|\lambda_r| \]

称为$A$的谱半径。

推论 1.
矩阵的谱半径不大于它的任意一种范数，即

\[\rho(A)\leq\|A\| \]

对应三种常见的向量范数，有三种矩阵范数

\[\begin{aligned} \|A\|_1=&\max_{1\leq j\leq n}\sum_{i=1}^n|a_{ij}| \\ \|A\|_2=&\sqrt{\rho(A^TA)} \\ \|A\|_{\infty}=&\max_{1\leq i\leq n}\sum_{j=1}^n|a_{ij}| \\ \end{aligned} \]

例 4. 已知

\[A=\begin{pmatrix} -1 & 3 & 9 \\ 2 & -7 & 2 \\ 5 & 2 & -4 \end{pmatrix} \]

求$\|A\|_{\infty}$, $\|A\|_1$。

定理 5.
$\displaystyle\lim_{k\to\infty}A^k=0$的充要条件是$\rho(A)<1$

定义 5.
满足$\displaystyle\lim_{k\to\infty}A^k=0$的矩阵$A$称为收敛矩阵

推论 2.
若存在某种矩阵范数有$\|A\|<1$，则$A$为收敛矩阵

定理 6.
若$A$对称，则$\|A\|_2=\rho(A)$。

证明. 作为作业。

条件数

在解方程$Ax=b$的时候，$A$引入了误差$\delta A$，则解会引入误差$\delta x$，即有

\[(A+\delta A)(x+\delta x)=b \]

因此有

\[\begin{aligned} &A(x+\delta x)+\delta A(x+\delta x)=b \\ &\delta A(x+\delta x)=b-A(x+\delta x)=-A\delta x\\ &\delta x=-A^{-1}\delta A(x+\delta x) \end{aligned} \]

即有

\[\frac{\|\delta x\|}{\|x+\delta x\|}\leq\|A^{-1}\|\cdot\|\delta A\| =\|A^{-1}\|\cdot\|A\|\frac{\|\delta A\|}{\|A\|} \]

类似地，如果$b$引入了误差$\delta b$，则$x$引入的误差$\delta x$满足

\[A(x+\delta x)=b+\delta b \]
\[A\delta x=\delta b \]
\[\|\delta x\|=\|A^{-1}\delta b\| \]
\[\|\delta x\|\cdot\|b\|=\|A^{-1}\delta b\|\cdot\|Ax\| \leq\|A^{-1}\|\cdot\|\delta b\|\cdot\|A\|\cdot\|x\| \]

则有

\[\frac{\|\delta x\|}{\|x\|}\leq\|A^{-1}\|\cdot\|A\|\frac{\|\delta b\|}{\|b\|} \]

定理 7.
设$x$和$x+\delta x$满足

\[\begin{aligned} Ax&=b \\ (A+\delta A)(x+\delta x)&=b+\delta b \end{aligned} \]

其中$b\neq 0$，且$\|\delta A\|$足够小，并满足

\[\|A^{-1}\| \|\delta A\|<1 \]

则有

\[\frac{\|\delta x\|}{\| x\|}\leq\frac{\|A\| \|A^{-1}\|}{1-\|A^{-1}\| \|\delta A\|} \left(\frac{\|\delta A\|}{\|A\|}+\frac{\|\delta b\|}{\|b\|}\right) \]

定义 6.
矩阵$A$的条件数定义为

\[Cond_p(A)=\|A\|_p\|A^{-1}\|_p \]

可以看到，条件数表示了对误差的放大率。

注. 条件数过大的矩阵，称为病态矩阵。病态矩阵对输入数据非常敏感。输入数据的很小扰动，会导致结果的偏差非常大。

对于病态问题，

  • 提高计算机的表达精度。这样$\delta A$或$\delta b$变小，从而误差也变小
  • 从数学上将问题变为等价的，但不病态的问题。

例 5. 已知

\[A=\begin{pmatrix} 1 & 0.99 \\ 0.99 & 0.98 \end{pmatrix} , b=\begin{pmatrix} 1.99 \\ 1.97 \end{pmatrix} \]

计算$Cond_2(A)$，并测试病态程序。

解. $A$为对称阵。求$A$的特征值

\[\det(\lambda I-A)=0 \]

得到$\lambda_1=1.9800505$, $\lambda_2=-0.0000505$ 这样，得到

\[Cond_2(A)=\left|\frac{\lambda_1}{\lambda_2}\right|\approx 39206 \]

测试病态程度： 方程$Ax=b$有真解$x=\begin{pmatrix} 1\\ 1\end{pmatrix}$。

给$b$一个扰动$\delta b=\begin{pmatrix} -0.97\times 10^{-4} \\ 0.106\times 10^{-3}\end{pmatrix}$， 其相对误差为$\frac{\|\delta b\|_2}{\|b\|_2}\approx 0.513\times 10^{-4}$。 此时真解为$\tilde x=\begin{pmatrix} 3\\ -1.0203\end{pmatrix}$， $x$的扰动为$\delta x=\begin{pmatrix} 2\\ -2.0203\end{pmatrix}$， 相对误差为$\frac{\|\delta x\|_2}{\|x\|_2}\approx 2.0102$

定理 8.
$Cond_p(A)\geq 1$，且当$A$为正交矩阵时$Cond_2(A)=1$

证明. $Cond(A)=\|A^{-1}\|\|A\|\leq\|A^{-1}A\|=\|I\|=1$

谢谢

vertical slide 2

目录

本节读完

例 6.

6.