泛函分析 | Guo

度量空间

度量空间必须满足四个性质：(1) 非负性；(2) 非退化性；(3) 对称性；(4) 三角不等式。

$C[a, b]$ 上的 $d_p$ 度量不够好，有的时候不收敛；而 $d_\infty$ 度量比较好用。

离散度量：

$$ d(x, y) = \begin{cases} 0, x=y\\ 1, x\ne y \end{cases} $$

p 阶可和：

$$ \sum_{i=1}^\infty|x_n|^p \lt \infty $$

无穷可和：

$$ \exist C \ge 0, \forall n \ge 1, |x_n| \le C. $$

开集和闭集

设 $(X, d)$ 为度量空间，令

$$ B(x_0,r)=\lbrace x\in X{:}d(x_0,x) <r\rbrace \\ \bar{B}(x_0,r)=\lbrace x\in X{:}d(x_0,x)\leqslant r\rbrace \\ S(x_0,r)=\lbrace x\in X{:}d(x_0,x)=r\rbrace $$

称 $B$ , $\bar{B}$ , $S$ 分别为开球、闭球、球面。

对于 $M \subset X$ , $x_0 \in M$ ，如果存在 $r > 0$ 使得 $B(x_0, r)\subset M$ ，则 $x_0$ 为 $M$ 的内点， $M$ 的所有内点称为“内部”，记为 $M\degree$ 。如果 $M = M\degree$ ，则称 $M$ 为开集。若 $F^c = X\setminus F$ 为开集，则 $F$ 称为闭集。

$M\degree$ 是 M 内的最大开集。

开集的基本性质：

(1) $X$ ，空集都是开集。（X 本身可以是闭区间、半开半闭区间，这都无所谓，因为我们是在度量空间 (X, d) 上定义的开和闭）

(2) 任意多个开集的并集仍然是开集。

(3) 有限个开集的交集仍然是开集。（无限多个开集的交集未必是开集， $X=\R$ ， $G_n=(\frac1n, +\infty)$ ，则 $\cap_{n=1}^\infty G_n$ 不是开集，因为 0 不是它的内点。）

基于上述的三条性质还可以定义拓扑空间的概念，度量空间属于一种特殊的拓扑空间。

离散度量空间中，所有的集合都是开集，并且所有的集合也都是闭集。

闭集的基本性质：

(1) $X$ ，空集都是闭集。

(2) 任意多个闭集的交集仍然是闭集。

(3) 有限个闭集的并集仍然是闭集。

闭集可以定义聚点，导集 $M^\prime$ ，闭包 $\bar{M}$ 的概念。如果某个集合 $M$ 满足 $M=\bar{M}$ ，则可以断定 $M$ 为闭集。同时，闭包是包含 M 的最小闭集。（这概念的定义是否与内点、内部的概念对偶？一个是并，一个是交。相交非空，取反就是集合的包含关系。）

连续映射：
设两个度量空间 $(X_1, d_1)$ ， $(X_2, d_2)$ ，映射 T 满足对任意 $\varepsilon > 0$ ，存在 $\delta > 0$ ，当 $d(x_1, x_2) < \delta$ 时，有 $d(Tx_1, Tx_2) \le \varepsilon$ 。

反直觉的事情：离散度量空间 $(X_1, d_1)$ 的映射总是连续映射。

连续映射可以用逆像的开集刻画：连续映射的充要条件是任意开集的逆像为开集。类似的，闭集的逆像为闭集同样可以刻画映射的连续性。

稠密子集：如果 $M\sub X$ 且 $\bar M = X$ ，称 $M$ 为 $X$ 的稠密子集。如果 $X$ 有至多可数的稠密子集，称 $X$ 为可分度量空间。（我一直理解错了，认为是“至多可数个”稠密子集，实际上是“存在一个稠密子集，它是至多可数的”。

$M \sub X$ 可以推出 $\bar M \sub X$ ，因此稠密实际上是说 $X \sub \bar M$ ，也就是给定任意 $x\in X, r>0$ ，一定存在 $m\in M$ 使得 $d(x,m) < r$ 。稠密本质上就是说 X 中任意元素可以用 M 的元素任意逼近。另外， $K^n$ 是可分的。

可数

关于映射的性质：

单射的复合是单射；
满射和满射的复合是满射；
双射的复合是双射。

逆映射：

$$ T T^{-1} = I_Y\\ T^{-1}T = I_X $$

如何比较两个集合的大小？

有限集：直接计算个数即可；

无穷集：如果存在 $A\to B$ 的双射，则 $A, B$ 为等势。记为 $A\sim B$ 。等势关系具有反身性，对称性，传递性。

可数集：如 $A \sim \N = \lbrace1,2, 3,\dots\rbrace$ ，称 $A$ 为可数集。

可以证明：如果我能够把集合的所有元素列出来： $A = \lbrace a_1, a_2, \dots, a_n, \dots\rbrace$ ，元素两两不等，那么 $A$ 就是一个可数集。

有理数是可数的，这个好证。另外，代数数也是可数的。

至多可数：如果一个集合为有限集或者可数集，则称之为至多可数。

一个可数集的子集是至多可数的。

至多可数个可数集的并集为可数集。（证明：对角线遍历即可）由此可以推出，有限个可数集的笛卡尔积还是可数集。因此 $\mathbb Q^n$ 是可数集。

$(0,1)$ 不是可数集。 $\R \setminus \mathbb Q$ 是可数集, $(a, b) \cap \mathbb Q$ 是可数集。 $(0,1)\sim(a, b)\sim\R$

可数个可数集的笛卡尔积不一定是可数集。例子：无限长的二进制序列 $\lbrace0,1\rbrace^\N = \lbrace0,1\rbrace \times \lbrace0,1\rbrace \times ...$ 不是可数集。

$\mathcal P_n$ 为次数≤ n 的整系数多项式集合。代数数集合 $\mathcal A = \lbrace P_1的根, P_2的根, ...\rbrace$ 是可数的。

可分度量

回到稠密和可分度量空间的讨论来。

$({\mathcal l}^p, d_p)$ 为可分空间。例如， $\mathbb K = \R$ 的情况下， $M=\lbrace(x_n)_{n\ge1}, x_n\in\mathbb Q, \exist N, \forall n \gt N,x_n=0\rbrace \subset l^p$ 是一个稠密子集。首先可以证明 $\bar M = l^p$ 。接下来，对 M “分层”： $M=\bigcup_{n=1}^{\infty}\lbrace(x_n)_{n\ge1}| x_n\in \mathbb Q, \forall n\ge m, x_n=0\rbrace$ ，可数个可数集的并集还是可数集，因此 $M$ 是可数的， $l^p$ 是可分度量空间。

但是， $(l^\infty, d_\infty)$ 不是可分度量空间。我们可以构造 $M=\lbrace \lbrace x_n\rbrace \in\ell^\infty:x_n=0,\text{或者 }x_n=1\rbrace \sim \lbrace0, 1\rbrace^\N$ ，对任意稠密子集 $N$ ，利用稠密性可以构造一个从 $M\to N$ 的单射（ $m_1\ne m_2\Rightarrow n_1\ne n_2$ ）， $M$ 是不可数的，从而 $M$ 的像集也是不可数的，而 $M$ 的像集是 $N$ 的子集，一个可数集的子集怎么可能是不可数的呢？所以 $N$ 一定是不可数的。

可以证明 $\bar {\mathbb Q^n} = \R^n$ ， $\overline{\mathbb Q^n + i\mathbb Q^n} = \mathbb C^n$ ，因此 $K^n$ 是可分的。

对于离散度量空间， $X$ 为至多可数集是 $(X, d)$ 可分的充要条件。因为离散度量空间中任何子集都是闭集，因此 $M = \bar M$ ，稠密又必须有 $\bar M = X$ ，因此只能是 $M = X$ 成立， $M$ 至多可数等价于 $X$ 至多可数。

$C[a, b]$ 也是可分度量空间。实际上整系数多项式集合 $\mathcal P$ 满足 $\bar{\mathcal P} = C[a, b]$ 。对于 $d_\infty$ 度量，可以用 stone-weirstrass 定理直接证明，而对于 $d_p$ 度量， $d_p(x, y) \le (b-a)^{1/p}d_\infty(x, y)$ ，自然也可证明。

收敛性，完备性及紧性

收敛性

若存在 $x\in X$ 使得

$$ \underset{n\to\infty}{\operatorname*{\operatorname*{\lim}}}d(x_n,x)=0, $$

则称 ${x_n}$ 在 $X$ 中收敛。记为 $\lim_{n\to\infty}x_{n}=x$ ，或者 $x_n\to x$ 。

如果非空子集 $M$ 被包含在 $X$ 的某个开球内，称 $M$ 为有界集。实际上， $M$ 有界等价于 $\forall x \in X，\exists r > 0，M\subset B(x, r)$ 。

定理： $x_n\to x$ ，则

（1） ${x_n: n\ge1}$ 为有界集。

（2） $x$ 唯一。

利用序列的收敛性，我们可以更方便地证明一个集合为闭集了。

定理：对于 $M\subset X$

(1) $x\in \bar M$ 当且仅当存在 $M$ 的序列 $x_n$ ，满足 $x_n\to x$ ；

(2) $M$ 为闭集当且仅当对任意收敛到 $x$ 的 $M$ 中序列 $x_n$ ，有 $x\in M$ 。

(1) 证明：若 $x\in M$ ，则必然存在 $x_n \in B(x, \frac1n)\cap \bar M$ ，因此 $0\le d(x, x_n) \le \frac1n$ ，取极限即可；

若从右边证明左边，对任意 $\delta \gt 0$ ，存在 $n \gt N$ 使得 $d(x, x_n) \lt \delta$ ，因此， $x_n \in B(x, \delta)$ ，又因为 $x_n\in M$ ，因此 $B(x, \delta)\cap M \ne \empty$ ，从而 $x \in \bar M$ 。

(2) 证明：从左到右：由于 $x_n\to x$ ，根据 (1) 从右推左，得到 $x\in \bar M = M$ ；

从右到左：首先 $M \subset M\cup M^\prime = \bar M$ 显然成立。接下来，对任意 $x\in \bar M$ ，根据 (1) 左推右，存在 M 中序列 $x_n$ 使得 $x_n\to x\in \bar M$ ，又根据条件可以推出 $x\in M$ ，因此 $\forall x\in \bar M \Rightarrow x\in M$ ，从而得知 $\bar M \subset M$ 。综合得到 $\bar M = M$ ，即 $M$ 为闭集。

这里最迷惑的地方是 (2) 的“对任意收敛到 $x$ 的 $M$ 中序列 $x_n$ ”，我们知道任意可以推存在而存在不能推任意。但是 (2) 的从左到右证明是证明任意性成立，过程用到了 (1) ，而(1) 是一个存在性的定理，存在怎么推任意呢，似乎出现了逻辑问题。（我有点难以表达这段话的意思，总之就是在这里的理解出现了差错。）实际上并不矛盾，因为他们的“任意”和“存在”描述的并不是同一个对象！实际上我们完全可以把 (1) 的充分性定理写成：“对任意 $M$ 中序列 $x_n$ ，如果 $x_n$ 收敛到 $x$ ，则 $x\in \bar M$ ”，所谓的存在性本质上也是任意性罢了，当然这样写的话必要性定理就不好表达，所以书上没有采用这种写法。

收敛性可以用来刻画映射的连续性：

定理： $T: X_1\to X_2$ ， $y\in X_1$ ，则 $T$ 在 $x=y$ 处连续等价于 $\forall x_n\in X_1, x_n\to y$ 有 $Tx_n \to Ty$ 。

柯西列： $\forall \varepsilon \gt 0$ ， $\exist N$ ， $s.t. \forall m, n \ge N$ ， $d(x_m, x_n) \lt \varepsilon$ 。

收敛列都属于柯西列，反之不一定。

完备性

如果所有柯西列都是收敛列（收敛到 $X$ 中的某个点），则称度量空间 $(X,d)$ 是完备的： $\forall x_n \in X$ 为柯西列， $\exist x \in X$ , $s.t. x_n\to x$ 。

$X=\R,\mathbb C$ ， $d(x,y)=|x-y|$ ，是完备的。

离散度量空间为完备的。

设 $M = \lbrace(x_n)_{n\ge1}, \exist N, \forall n \ge N, x_n=0\rbrace\subset \ell^1$ ， $(M, d_1)$ 是不完备的。

首先，取序列 $x_n = (\frac12,\frac14,\dots,\frac1{2^n}, 0, 0, \dots) \subset M$ （注意这里的 $n$ 含义为序列的下标，与 $M$ 定义的 $n$ 不同， $M$ 中的 $n$ 是分量的下标），对任意 $m \ge n \ge 1$ ， $d_1(x_m,x_n) = \sum_{i=n+1}^m\frac{1}{2^i} \le \frac{1}{2^n}$ 。因此 $x_n$ 是柯西列。但是，假设存在 $x \in M$ 使得 $x_n\to x$ ，则存在 $N$ 使得 $x$ 从第 $N$ 个分量起都是 $0$ 。对于任意 $n\ge N+1$ ， $d_1(x_n, x) \ge \frac1{2^N}$ ，因此 $x_n \not\to x$ 。

定理：柯西列均为有界列。

证明：取 $\varepsilon = 1$ ，存在 $N$ ，使得对任意 $m,n \ge N$ ，有 $d(x_m, x_n)\lt 1$ ，因此 $d(x_m, x_N)\le1$ 。只要取 $r = \max\lbrace1, d(x_N, x_1), d(x_N, x_2), \dots, d(x_{N-1}, x_N)\rbrace + 1$ ，就有 $\forall n \gt 1, x_n \in B(x_N, r)$ 。

定理： $M\in X$
（1）若 $M$ 是完备的，则 $M$ 为闭集。
（2）若 $(X,d)$ 是完备的，则 $M$ 完备当且仅当 $M$ 为闭集。

（1）证明：对任意收敛列 $x_n\in M\to x \in X$ ，则 $x_n$ 为 $X$ 中的柯西列，也为 $M$ 中的柯西列，由于 $M$ 完备，存在 $y \in M$ 使得 $x_n \to y$ ，所以 $x = y \in M$ ，所以 $M$ 为闭集。

（2）证明：只要从右往左证明。 $M\in X$ 为闭集，则对任意 $x_n \in M \to x$ ， $x \in M$ 。对任意 $M$ 中的柯西列 $x_n$ ，它也是 $X$ 中的柯西列， $X$ 的完备性推出 $x_n \to x \in X$ ，由闭集的性质得到 $x\in M$ ，因此 $(M,d)$ 是完备的。

对于同集合，可以有不同的度量，度量之间可能有强弱之分：

$$ d_1(x, y) \le \alpha d_2(x, y), \forall x, y \in X, \exist \alpha \gt 0 $$

称 $d_2$ 强于 $d_1$ .

此时构造映射 $T: (X, d_1) \to (X, d_2)$ , $x \mapsto x$ ，为 Lipschitz 映射，因此为连续映射。由连续映射的等价定义， $(X, d_2)$ 中的开集、闭集在 $(X, d_1)$ 中也是开集、闭集。此外，容易得到， $(X, d_2)$ 上的收敛列、柯西列，在 $(X, d_1)$ 上也是收敛列、柯西列，且收敛到的点不变。

如果

$$ \alpha d_1(x, y) \le d_2(x, y) \le \beta d_1(x, y), \forall x, y \in X, \exist \alpha,\beta \gt 0 $$

称 $d_1$ 和 $d_2$ 是等价度量。

等价度量：具有相同的开集、闭集、内点、内部、聚点、闭包、柯西列、收敛性（收敛点相同）、完备性、稠密性、可分性。

对于 $X=\mathbb K^n$ ， $d_\infty(x, y) \le d_p(x, y) \le n^{\frac1p}d_\infty(x, y)$ ，因此 $d_p$ 与 $d_\infty$ 等价， $d_p$ 之间相互也等价。要想探究它的完备性，只需要证明 $(\mathbb K^n, d_\infty)$ 是完备的。

假设我们已经在高等数学里面证明过了 $\R, \mathbb C$ 是完备的。对任意 $\mathbb K^n$ 中的柯西列，存在 $N$ 使得对任意 $k, l \ge N$ ， $d_\infty(x_k, x_l)<\varepsilon/2$ ，即 $|x_{k,i}-x_{l,i}|\lt \varepsilon/2$ ，因此 $(x_{k,i})_{k\ge1}$ 是 $\mathbb K$ 中的柯西列也是收敛列，取 $l\to\infty$ ， $x_{l,i}\to a_i$ ，则 $|x_{k,i} - a_i| \le \varepsilon/2$ ，因此 $d_\infty(x_l, a) \le \varepsilon/2 \lt \varepsilon$ ， $x_n$ 是收敛的。因此 $\mathbb K^n$ 是完备的。

$\mathbb Q$ 在 $\R$ 中是不完备的，因为 $\mathbb Q$ 在 $\R$ 中不是闭集。

完备性的判断只需要看柯西列是不是收敛列就行，而这里的反例之所以“不完备”，不是因为柯西列不收敛，而是因为柯西列没有收敛到给定度量空间的某个点，它收敛到外面的点去了！假如我们扩张度量空间的集合范围，有可能找到一个完备的空间。
反过来呢，如果我们有一个完备的空间，我们只需要从这个空间里找一个闭集就可以构造另一个完备的空间。

$(\ell^\infty, d_\infty)$ 是完备的度量空间。证明：对任意柯西列 $x_n$ ，存在 $N$ 使得对任意 $k, l \ge N$ ， $d_\infty(x_k, x_l)<\varepsilon/2$ ，即 $|x_{k,i}-x_{l,i}|\lt \varepsilon/2$ ，因此 $(x_{k,i})_{k\ge1}$ 是 $\mathbb K$ 中的柯西列也是收敛列，取 $l\to\infty$ ， $x_{l,i}\to a_i$ ，则 $|x_{k,i} - a_i| \le \varepsilon/2$ ，因此 $d_\infty(x_l, a) = \sup|x_{l,i} - a_i| \le \varepsilon/2 \lt \varepsilon$ 。接下来的关键问题是证明 $a \in \ell^\infty$ 。 $|a_i| \le |a_i + x_{k, i}| \le \varepsilon / 2 + C_k$ 因此 $a\in \ell^\infty$ 。因此 $x_n \to a\in M$ , $(\ell^\infty, d_\infty)$ 完备。 $(\ell^p, d_p)$ 是完备的。 $\forall \varepsilon > 0$ ， $\exist K, \forall k, l \ge K$ , $d_p(x_l, x_k) = (\sum_{n=1}^\infty |x_{k,n} - x_{l, n}|^p)^{1/p}\lt \varepsilon / 2$ 。对任意 $n \ge 1$ ， $|x_{k, n} - x_{l, n}| \lt \varepsilon / 2$ ，因此 $(x_{l, n})_{k\ge1}$ 是 $\mathbb K$ 中的柯西列，因此设 $x_{l, n} \to a_n$ ， $a = (a_1, a_2, \dots)$ 。从而 $d(x_k, a) = \sum_{n=1}^\infty(|x_{k,n} - a_{n}|^p)^{1/p} = \lim\limits_{l\to\infty}\sum_{n=1}^\infty(|x_{k,n} - x_{l, n}|^p)^{1/p} \le \varepsilon / 2 \lt \varepsilon$ ，此时只需要证明 $a\in \ell^p$ 。

对于连续函数 $X=C[a, b]$ ， $(C[a, b], d_\infty)$ 是完备的. $d_p(x, y)\le (b-a)^{1/p}d_\infty(x,y)$ 。对任意 $\varepsilon \gt 0$ ， $\exist K, \forall k,l\ge K, d_\infty(x_k, x_l) \le \varepsilon/8$ 。即 $\forall t \in [a, b], |x_k(t) - x_l(t)| \lt \varepsilon / 8$ 。因此 $x_k(t)$ 是 $\mathbb K$ 中的柯西列。我们假设在每个点 $t$ ， $x_k(t) \to x(t)$ 。 $d(x(t), x_k(t)) = \lim\limits_{l\to\infty} d(x_l(t), x_k(t)) \le \varepsilon / 8 \Rightarrow \forall t\in[a, b], |x(t) - x_k(t)| \le \varepsilon / 8$ 。接下来我们只要证明 $x \in C[a, b]$ ，也就是证明它的连续性： $\lim_{t\to t_0}x(t) = x(t_0)$ 。由于 $x_k \in C[a,b]$ ，因此 $\exist \delta \gt 0, |t-t_0| \lt \delta, |x_k(t) - x_k(t_0)| \lt \varepsilon / 8$ 。

$$ |x(t) - x(t_0)| \le |x(t) - x_k(t)| + |x_k(t) - x_k(t_0)| + |x_k(t_0) - x(t_0)|\\ \le \varepsilon / 8 + \varepsilon / 8 + \varepsilon / 8 \lt \varepsilon $$

从而 $x \in C[a,b]$ 得证。

$(C[0, 1], d_p)$ 不完备。例如，当 $p=1$ 时可以构造如下函数： $$ x_n(t) = \begin{cases} 0, & t\le \frac12\\ 2n(t-1/2), & \frac12 \lt t \le \frac12 + \frac{1}{2n}\\ 1, & t\gt \frac12 + \frac{1}{2n}\\ \end{cases} $$ $d(x_m, x_n) = \frac{1}2(\frac1m - \frac1n)$ 是柯西列，但是它的极限是： $$ x_n(t) = \begin{cases} 0, & t\le \frac12\\ 1, & t\gt \frac12\\ \end{cases} $$

不是连续函数。

上述例子中， $d_\infty(x_m, x_n) = \sup_{t\in [0, 1]}|x_m(t) - x_n(t)| \ge \sup_{t\in[1/2, 1/2+1/(2m)]}2(m-n)(t-1/2) = 1 - \frac{n}{m}$ ，对任意 $N$ ，总存在 $m = 2n, n \ge N$ 使得 $d_\infty(x_m, x_n) \ge 1/2$ ，因此在 $d_\infty$ 下不是柯西列，从而这个反例在 $(C[0, 1], d_\infty)$ 上不成立。可见，由于 $d_\infty$ 是更强的度量，在 $d_\infty$ 上的柯西列一定是 $d_p$ 的柯西列，但是反过来却未必。

等价度量的完备性等价： $d_1$ 上的柯西列是 $d_2$ 上的柯西列（由于 $d_1$ 强于 $d_2$ ）， $d_2$ 上的柯西列一定在 $d_2$ 度量下收敛， $d_2$ 度量下收敛意味着在 $d_1$ 度量下收敛（由于 $d_2$ 强于 $d_1$ ），从而 $d_1$ 的柯西列收敛。可见， $d_1$ 和 $d_2$ 必须互相“强于”对方，缺少任一方向，上述证明都无法成立。

假如 $d_2$ 强于 $d_1$ ，我们可以推出： $d_2$ 的收敛列 $\subset$ $d_1$ 的收敛列 $\subset$ $d_1$ 的柯西列， $d_2$ 的收敛列 $\subset$ $d_2$ 的柯西列 $\subset$ $d_1$ 的柯西列。似乎没办法比较 $d_2$ 的柯西列与 $d_1$ 的收敛列的关系。

进一步，如果 $d_2$ 对应一个完备度量空间，则 $d_2$ 的收敛列 $=$ $d_2$ 的柯西列 $\subset$ $d_1$ 的收敛列 $\subset$ $d_1$ 的柯西列。

如何证明 $(X, d)$ 是完备的？

任取柯西列 $x_k \in X$
找到可能的极限 $x$
求证 $x\in X$
$x_k \to x$

$c_0=\{\{x_n\}\in\ell^\infty:\lim_{n\to\infty}x_n=0\}$ ， $(c_0, d_\infty)$ 是完备的，和前面不同，这里 $c_0 \subset \ell^\infty$ ，因此只需要证明 $c_0$ 是闭集就可以了！

对于双射 $T$ ，若满足

$$ d_2(Tx,Ty)=d_1(x,y),\quad x,y\in X_1 $$

称 $T$ 为等距同构。

设 $(X,d)$ 为度量空间，则存在完备度量空间( $\hat{X},\hat{d}$ )及 $\hat{X}$ 的子空间(M, $\hat{d}|_{M\times M}),M\subset\hat{X}$ ,使得 $M$ 在 $\hat{X}$ 中稠密 $,M$ 与( $X,d$ )等距同构.上述 $(\hat{X},\hat{d})$ 在等距同构意义下是唯一的，即若存在完备度量空间( $X^\prime,d^{\prime}$ )及其子空间( $M^\prime,d^{\prime}|_{M\times M^{\prime}}$ ), $M^\prime\subset X^{\prime}$ ,使得 $M^\prime$ 在 $X^{\prime}$ 中稠密 $,(M^\prime,d^{\prime}|_{M\times M^{\prime}})$ 与 $(X,d)$ 等距同构，则 $(\hat{X},\hat{d})$ 与 $(X^\prime,d^{\prime})$ 等距同构.

上述过程称为完备化，每个度量空间只有一个完备化。

紧集：

若 $X$ 中任意序列都有收敛子列，则称 $X$ 为紧度量空间。
若 $M \subset X$ ， $(M, d)$ 为紧度量空间，则称 $M$ 为 $X$ 的紧子集，简称紧集。
若任给 $x_n \in M$ ，存在子列 $\lbrace x_{n_k}\rbrace$ 和 $x \in X$ （注意不是 $x \in M$ ，否则它就是紧集了），使得 $x_{n_k} \to x$ ，即 $M$ 中任意序列都有子列收敛到 $X$ 中的某点，则称 $M$ 是 $X$ 的相对紧集。

$M \in \mathbb K^n$ 为紧集当且仅当 $M$ 为有界闭集。紧集一定是相对紧集。

定理：度量空间中的紧集都是有界闭集。

定理：若 $(X, d)$ 为紧度量空间，则 $Y$ 为紧集当且仅当 $Y$ 为闭集。

定理： $(X, d)$ 为度量空间，则 $M \subset X$ 为相对紧集当且仅当 $\bar M$ 为紧集。

连续映射与紧集：

设 $(X_1, d_1), (X_2, d_2)$ 为度量空间， $T: X \to Y$ 为连续映射，那么

若 $M \subset X$ 为紧集，则 $T(M)$ 为 $Y$ 的紧集。
若 $(X, d_1)$ 为紧度量空间， $T$ 为一一映射，则 $T^{-1}$ 为连续映射。

推论： $(X, d)$ 为非空紧度量空间， $T: X\to \R$ 为连续映射，则 $T$ 可以在 $X$ 上取到最大值和最小值，即存在 $x_0, x_1 \in X$ 使得

$$ T(x_0) \le T(x) \le T(x_1), \quad x \in X $$

非空紧集中一定存在最佳逼近元：对于 $x_0\not\in M$ ，一定存在 $y_0 \in M$ 使得

$$ \rho(x_0, M) = \inf_{y \in M}d(x_0, y) = d(x_0, y_0) $$

Banach 不动点定理

设 $(X,d)$ 为度量空间 $,T:X\boldsymbol{\rightarrow}X$ 为映射、若存在常数 $0 \le a<1$ ,任给 $x,y\in X$ ,

$d(Tx,Ty)\leqslant\alpha d\left(x,y\right)$

成立，则称 $T$ 为压缩映射.

Banach 不动点定理（压缩映像原理）

非空完备度量空间 $(X, d)$ 的压缩映射 $T: X\to X$ 必有唯一的不动点。

证明： $\forall x_0 \in X$ ， $x_1 = Tx_0$ ， $x_{n+1} = Tx_n$ ，则 $x_n$ 为柯西列，因此 $\exist x, x_n \to x$ ，因此 $Tx = x$ ，下证 $x$ 为唯一的不动点。实际上如果有 $Tx = x, Ty = y$ ，则 $d(x, y) = d(Tx, Ty) \le \alpha d(x, y)$ ，因此 $(1-\alpha)d(x, y) \le 0$ ，只能有 $d(x, y) = 0$ 即 $x = y$ 。

注 1：不动点 $x$ 与初始点 $x_0$ 的选取无关。任取一个点都会收敛到同一个不动点。

注 2： $d(x_n, x) \le \frac{\alpha^n}{1-\alpha}d(x_1, x_0)$ （先验估计，可以用来估计 n 次迭代之后 $x_n$ 与不动点之间的距离。）

注 3: $d(x_n, x) \le \frac{\alpha}{1-\alpha}d(x_n, x_{n-1})$

更强的定理：

非空度量空间 $(X, d)$ 有映射 $T: X\to X$ ，设 $\exist m \ge 1$ ， $T^m$ 为压缩的映射，则 $\exist ! x \in X$ ， $Tx = x$ 。

证明： $S = T^m$ 有唯一不动点 $x$ ， $Sx = x$ 。

则 $S^n(Tx) = T^{mn+1}x = T(S^nx) = Tx$ ，令 $n\to \infty$ 则 $S^n(Tx) \to x$ ，因此 $Tx = x$ 为不动点。

设闭区间 $I \subset \R$ ， $d(x, y) = |x - y|$ ，则 $I$ 是完备的，设 $g: I \to I$ 是 $C^1$ 的， $\forall 0 \le \alpha \lt 1$ ，有 $|g^\prime(x)| \le \alpha$ ，则 $\exist ! x_0 \in I, g(x_0) = x_0$ 。

例子：开平方计算。取 $g(x) = \frac12(x + \frac{c}{x})$ ，任取 $x_0 \ge \sqrt c$ ，可以得到 $g(x)$ 有唯一的不动点 $\sqrt c$ ，且 $g^\prime (x) \le \frac{1}{2} = \alpha$ ， $d(x_n, \sqrt c) \le \frac{\alpha^n}{1-\alpha}d(x_1, x_0) = \frac{1}{2^{n-1}}d(x_1, x_0)$ ，因此求解速度是指数收敛的。

例子：线性方程求解。 $X = \mathbb K^m, d_\infty(x, y) = \max_{1\le i\le m} |x_i - y_i|$ ，设 $\mathbb C$ 为 $n$ 阶方阵，且 $b \in \mathbb K^m$ ， $C = (a_{ij})_{1 \le i, j \le m}$ ， $T: \mathbb K^m \to \mathbb K^m, x \mapsto Cx + b$ 。

此时

$$ d_\infty(Tx, Ty) = \max_{1\le i \le m}|\sum_{j = 1}^m a_{ij}(x_j - y_j)| \le \max_{1\le i \le m}\sum_{j = 1}^m |a_{ij}||x_j - y_j| \\ \le (\max_{1\le i \le m}\sum_{j = 1}^m |a_{ij}|)d_\infty(x, y) $$

只要 $\sum\limits_{j = i}^m |a_{ij}| \lt 1$ ，则 $T$ 为压缩映射，有不动点 $\xi_0 \in \mathbb K^m, T\xi_0 = \xi_0$ 。

由此，对于任意矩阵 $A$ ，如果我们想求解 $Ax = b$ ，可以把 $A$ 分解成 $A = B + G$ ，其中 $B$ 是可逆矩阵，则

$$ x = B^{-1}Gx + B^{-1}b $$

我们可以设映射 $T: x \mapsto B^{-1}Gx + B^{-1}b$ 。如果 $\sum\limits_{j = 1}^m |(B^{-1}G)_{ij}| \lt 1$ ，则 $T$ 为压缩映射，存在唯一不动点 $x = Tx$ ，从而 $x$ 也是 $Ax = b$ 的唯一解，我们可以通过选取初始值 $x_0$ ，不断迭代 $T^nx_0$ 来求解矩阵。

我们可以选取合适的 $B$ 和 $G$ 来简化计算。例如，我们取 $B$ 为所有对角线元素构成的矩阵，而 $G$ 为非对角线元素构成的矩阵。

$$ B=\begin{bmatrix}a_{11}&&&&\\&a_{22}&&&\\&&\ddots&&\\&&&&a_{mm}\end{bmatrix} \\ \boldsymbol{B}^{-1}\boldsymbol{G}=\begin{bmatrix}0&a_{11}^{-1}a_{12}&a_{11}^{-1}a_{13}&\cdots&a_{11}^{-1}a_{1m}\\a_{22}^{-1}a_{21}&0&a_{22}^{-1}a_{23}&\cdots&a_{22}^{-1}a_{2m}\\\vdots&\vdots&\vdots&&\vdots\\a_{m}^{-1}a_{m1}&a_{m}^{-1}a_{m2}&a_{m}^{-1}a_{m3}&\cdots&0\end{bmatrix} $$

因此当 $\sum\limits_{j = 2}^{m} |a_{ij}| \lt |a_{ii}|$ 时， $A$ 可逆。这个不等式条件称为行和判据。

定理：若方阵 $A$ 的对角线元素非零且满足行和判据，则 $A$ 可逆。

第三个例子：微分方程局部解的存在性

$a, b\gt 0, R=\{(t,x)\in\mathbb{R}^2:\mid t-t_0\mid\leqslant a,\mid x-x_0\mid\leqslant b\}$ ，假设 $f: R\to R$ 是矩形区域 $R$ 的连续函数， $\exist k \ge 0, |f(t, u) - f(t, v)| \le k|u - v|$ （Lipschitz 条件），求解初值问题： $$ \begin{cases}x^{\prime}(t)=f(t,x(t))\\x(t_0)=x_0&\end{cases} $$

在整个矩形内的性质不太好找，但是如果允许缩小范围，我们可以找到一个小的区域，在这个区域中，上述微分方程存在唯一解。

定理：若 $c=\max_{(t,x)\in R}\mid f(t,x)\mid$ ， $0<\beta<\min\left\{a,\frac{b}{c},\frac{1}{k}\right\}$ ，此时存在唯一的 $x \in C^1[t_0 - \beta, t_0 + \beta]$ ，使得 $t\in [t_0 - \beta, t_0 + \beta]$ 时有 $x(t) \in [x_0 - b, x_0 + b]$ 且 $x(t)$ 为上述方程的解。

实际上，我们需要证明 $(\bar B(x_0, c\beta), d_\infty)$ 是完备的，并构造一个压缩映射 $T$ .

记 $X = \bar B(x_0, c\beta), I = [t_0 - \beta, t_0 + \beta]$ ，显然 $X \subset C(I)$ 是闭集，而 $(C(I), d_\infty)$ 是完备的，因此 $(X,d_\infty)$ 是完备的。

定义映射 $T$ ， $\forall x \in X$ ，

$$ (Tx)(t) = x_0 + \int_{t_0}^t f(\tau, x(\tau))\mathrm d\tau $$

此时 $|x(\tau) - x(0)| \le c\beta \lt b$ ， $|\tau - t_0| \le \beta \le a$ ，因此 $(\tau, x(\tau)) \in R$ ，上式有意义。 $(Tx)(t)$ 当然也是连续函数。

$$ |(Tx)(t) - x_0| = |\int_{t_0}^t f(\tau, x(\tau))\mathrm d\tau| \le c\beta $$

因此 $(Tx)(t) \in X$ 。因而 $T$ 确实是从 $X$ 到 $X$ 的映射。

另一方面，

$$ \begin{align*} d_\infty(Tx, Ty) &= \max_{t\in I} |\int_{t_0}^t f(\tau, x(\tau)) - f(\tau, y(\tau))\mathrm d\tau|\\ &\le k \max_{t\in I} \int_{t_0}^t |x(\tau) - y(\tau)|\mathrm d\tau\\ &\le k\beta d_\infty(x, y) \end{align*} $$

因此， $T$ 是压缩映射，有唯一不动点 $x$ 使得

$$ x = Tx \Rightarrow\\ x(t) = x_0 + \int_{t_0}^t f(\tau, x(\tau))\mathrm d\tau $$

不难验证 $x(t)\in C^1(I)$ ，且满足原来的微分方程。

假设还有 $y(t)$ 满足原来的微分方程。则

$$ \int_{t_0}^t y^\prime(\tau)\mathrm d\tau = y(t) - x_0 = \int_{t_0}^t f(\tau, y(\tau))\mathrm d\tau $$

同时

$$ |y(t) - x_0| = |\int_{t_0}^{t} f(\tau, y(\tau))\mathrm d\tau| \le c\beta $$

因此 $y \in X$ ， $Ty = y$ 。因此只能 $y = x$ 。

注意，压缩映射不仅可以从题目给的定义域去找，也可找一个间接的完备度量空间，例如本题中的 $C[a, b]$ ，原问题求的是 $C^1[a, b]$ 。但是要注意，不能直接从不动点定理的唯一性证明原问题的唯一性！因为你已经换了一个度量空间，不能直接推出唯一了。因此还需要显式地证明这个东西的唯一性。

接下来是第二类 Fredholm 积分方程的例子：

设 $R = [a, b]^2$ 是连续的， $K: R \to \R$ 是连续的， $v\in C[a, b]$ ，求解

$$ x(t) = \int_a^b k(t, s)x(s)\mathrm ds + v(t), t\in[a, b] $$

由于 $K \in C[a, b]^2$ ， $[a, b]^2$ 是有界闭集，因此

$$ C = \max_{t, s \in [a, b]} |K(t, s)| \lt \infty $$

因此定义 $T: C[a, b] \to C[a, b]$ ，

$$ (Tx)(t) = \int_a^b k(t, s)x(s)\mathrm ds + v(t) $$

由于

$$ d_\infty(Tx, Ty) = \max_{t \in [a, b]} |\int_a^b k(t, s)(x(s) - y(s))\mathrm ds|\\ \le C(b - a) d_\infty(x, y) $$

当 $C(b - a) \lt 1$ 的时候，有唯一的不动点 $x$ 满足积分方程。

下一个例子：Volterra 积分方程

设三角形区域 $R = \{(t, s): a \le t \le b, a \le s \le t\}$ ， $K: R \to \R$ 是连续的。 $v\in C[a, b]$ ，求解：

$$ x(t) = \int_a^t k(t, s)x(s)\mathrm ds + v(t), t\in[a, b] $$

取

$$ C = \max_{t, s \in [a, b]} |K(t, s)| \lt \infty $$

定义映射 $T: C[a, b] \to C[a, b]$ ，

$$ (Tx)(t) = \int_a^t k(t, s)x(s)\mathrm ds + v(t) $$

我们证明： $\forall m \ge 1$ ，

$$ \begin{align*} |(T^mx)(t) - (T^my)(t)| \le \frac{(C(t-a))^m}{m!} d_\infty(x, y) \end{align*} $$

首先，当 $m = 1$ 的时候成立：

$$ \begin{align*} |(Tx)(t) - (Ty)(t)| &= |\int_a^t K(t, s)(x(s) - y(s))\mathrm ds|\\ &\le (C(t-a)) d_\infty(x, y) \end{align*} $$

假设 $m = k$ 的时候成立，当 $m = k+1$ 时

$$ \begin{align*} |(T^{k+1}x)(t) - (T^{k+1}y)(t)| &= |(TT^{k}x)(t) - (TT^{k}y)(t)|\\ &= |\int_a^t K(t, s)((T^kx)(s) - (T^ky)(s))\mathrm ds|\\ &\le C \int_a^t |(T^kx)(s) - (T^ky)(s)|\mathrm ds\\ &\le C \int_a^t \frac{(C(s-a))^k}{k!} d_\infty(x, y) \mathrm ds\\ &\le C \frac{(C(t-a))^{k+1}}{C(k+1)!} d_\infty(x, y)\\ &= \frac{(C(t-a))^{k+1}}{(k+1)!} d_\infty(x, y) \end{align*} $$

因此对于所有的 $m \ge 1$ ，结论成立。

由于 $m\to \infty, \frac{(C(t-a))^m}{m!} \to 0$ ，因此必然存在 $M$ 使得 $\frac{(C(t-a))^M}{M!} \lt 1$ 。此时 $T^M$ 为压缩映射，由不动点定理的推广可知存在唯一的不动点 $x$ 使得 $x = Tx$ 。

或者说，任给 $v \in C[a, b]$ ，题目给的积分方程在 $C[a, b]$ 上有唯一的解。

下一个例子：隐函数存在定理

设 $a\le b$ 固定， $R = \{(x, y): a \le x \le b, y\in \R\}$ ， $f: R \to \R$ 连续， $f^\prime_y(x, y)$ 在 $L$ 上处处存在，存在 $0 \lt m \lt M$ ，使得 $m \le f_t^\prime(x, y) \le M$ ，则 $\exist ! y \in C[a, b]$ ， $f(x,y(x)) = 0, a \le x \le b$ 。

$\forall y \in C[a, b]$ ， $$ (Ty)(x) = y(x) - \frac1Mf(x, y(x)) $$

则 $T: C[a, b]\to C[a, b]$ ， $y_1, y_2 \in C[a, b]$ 。

$$ \begin{align*} &|(Ty_1)(x) - (Ty_2)(x)|\\ &=|y_1(x) - y_2(x) - \frac1M(f(x, y_1(x)) - f(x, y_2(x)))|\\ &= |y_1(x) - y_2(x) - \frac1M(y_1(x) - y_2(x))f^\prime_y(x, y_1(\xi))|\\ &= |y_1(x) - y_2(x)||1 - \frac1Mf^\prime_y(x, y_1(\xi))|\\ &\le (1 - \frac mM)|y_1(x) - y_2(x)|\\ &\le (1 - \frac mM) d_\infty(y_1, y_2) \end{align*} $$

因此 $T$ 为压缩映射，存在唯一的不动点 $y$ 使得

$$ y = Ty \Rightarrow \\ y(x) = y(x) - \frac1Mf(x, y(x)) \Rightarrow \\ f(x, y(x)) = 0 $$

赋范空间

线性空间，维数

在 $X\ne \varnothing$ 上定义加法： $\forall x, y \in X, x + y \in X$ 。

定义数乘： $\forall x \in X, \forall \lambda \in \mathbb K, \lambda x \in X$ 。

满足下列8条公理：

$x + y = y + x$
$(x + y) + z = x + (y + z)$
$\exist 0 \in X, 0 + x = x + 0$
$\forall x \in X, \exist -x, (-x) + x = 0$
$\alpha(\beta x) = (\alpha\beta)x$
$1\cdot x = x$
$(\alpha + \beta)x = \alpha x + \beta x$
$\alpha(x + y) = \alpha x + \alpha y$

称 $X$ 是 $\mathbb K$ 上的线性空间。

对于 $C[a, b]$ ，定义 $f + g$ 和 $\alpha f$ ，显然 $C[a, b]$ 是一个线性空间。

对 $\ell^p$ ，可以定义 $(x_n)_{n\ge1} + (y_n)_{n\ge1} = (x_n + y_n)_{n\ge1} \in \ell^p$ ， $\lambda (x_n)_{n\ge1} = (\lambda x_n)_{n\ge1} \in \ell^p$ 是线性空间。

对于 $S = \{(x_n)_{n\ge1}, x_n \in\mathbb K\}$ ， ${n\ge1} = (x_n + y_n)_{n\ge1} \in S$ ， $\lambda (x_n)_{n\ge1} = (\lambda x_n)_{n\ge1} \in S$ ，也是线性空间。

线性子空间：如果 $Y \subset X$ 对加法、数乘封闭，则 $Y$ 是 $X$ 的线性子空间。

$C[a, b]$ 是 $F[a, b]$ 的线性子空间。 $\ell^p$ , $\ell^\infty$ 是 $S$ 的线性子空间。 $Y_1, Y_2$ 是 $X$ 的线性子空间， $Y_1 \cup Y_2$ 未必是线性子空间。但是 $Y_1 \cap Y_2$ 是线性子空间。

设 $(Y_i)_{i\in I}$ 是一族线性子空间，则 $\bigcap_{i \in I} Y_i$ 仍然是 $X$ 的线性子空间。

设 $X$ 是线性空间， $M\subset X$ 非空，存在唯一最小的线性子空间包含 $M$ ，称这个最小的线性子空间为 $\text{span}(M)$

称 $\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n$ 为 $x_1, \dots, x_n$ 的线性组合。则

$$ \text{span}(M) = \{\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n: n \ge1, x_i\in M, \lambda_i \in \mathbb K\} $$

证明：假设 $N = \{\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n: n \ge1, x_i\in M, \lambda_i \in \mathbb K\}$ ，则 $\forall x \in M, x = 1 \cdot x \in N$ ，因此 $M\subset N$ 。

$N$ 中的加法和数乘封闭，因此 $N$ 是 $X$ 的线性子空间。

任取 $X$ 中的线性子空间 $Q$ 且 $M \subset Q$ 。对任意 $x \in N$ ， $x = \lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n \in M \subset Q$ ，因此 $N \subset Q$ 。这也就证明了 $N$ 是最小的包含 $M$ 的子空间，从而 $\text{span}(M) = N$ 。

若存在 $\lambda_1, \dots, \lambda_n \in \mathbb K$ 不全为 0，且 $\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n = 0$ ，则 $x_1, \dots, x_n$ 为线性相关的。

若 $\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n = 0 \Rightarrow \lambda_1=\dots=\lambda_n=0$ ，则称 $x_1, \dots, x_n$ 为线性无关的。

例子：假设 $X = C(\R)$ ， $\lambda_1 \lt \lambda_2 \lt \dots\ \lt \lambda_n \lt \dots, f_n(t) = e^{\lambda_nt}$ ，证明： $\{f_1, \dots, f_n, \dots\}$ 线性无关。

假设 $\mu_1, \dots, \mu_n \in \R$ 使得

$$ \mu_1f_1 + \mu_2f_2 + \dots + \mu_nf_n = 0 $$

那么

$$ \mu_1e^{\lambda_1t} + \mu_2e^{\lambda_2t} + \dots \mu_ne^{\lambda_nt} = 0\\ \mu_1\lambda_1e^{\lambda_1t} + \mu_2\lambda_2e^{\lambda_2t} + \dots \mu_n\lambda_ne^{\lambda_nt} = 0\\ $$

第一个式子乘以 $\lambda_n$ 减去第二式：

$$ \mu_1(\lambda_n - \lambda_1)e^{\lambda_1t} + \mu_2(\lambda_n - \lambda_2)e^{\lambda_2t} + \dots \mu_n(\lambda_n - \lambda_{n-1})e^{\lambda_{n-1}t} = 0\\ \mu_1(\lambda_n - \lambda_1)\lambda_1e^{\lambda_1t} + \mu_2(\lambda_n - \lambda_2)\lambda_2e^{\lambda_2t} + \dots \mu_n(\lambda_n - \lambda_{n-1})\lambda_{n-1}e^{\lambda_{n-1}t} = 0\\ $$

接下来又可以乘系数消元，继续求导，乘系数消元，…，直到剩下一个项：

$$ \mu_1(\lambda_n - \lambda_1)(\lambda_{n-1} - \lambda_1)\dots(\lambda_2 - \lambda_1)e^{\lambda_1t} = 0 $$

因此 $\mu_1 = 0$ ，同理可以证明 $\mu_2=\dots=\mu_n = 0$ 。

若存在 $X$ 中的 $n$ 个元素线性无关，且任取 $n+1$ 个元素为线性相关，则称 $X$ 为 $n$ 维空间， $\dim X = n$ 。

$n$ 维空间中的任意元素 $x \in X$ ，存在唯一的一组系数 $\alpha_1,\dots ,\alpha_n \in \mathbb K$ 使得 $$ x = \alpha_1x_1 + \dots + \alpha_nx_n $$

不为有限维的空间称为无穷维空间。

$\R^n$ 是 $n$ 维的。 $\ell^p, \ell^\infty, S, C[a, b]$ 是无穷维的。

Hamel 基： $M \subset X$

$M$ 是线性无关的
$\text{span}(M) = X$

称 $M$ 是 Hamel 基。

任取 $x\in X$ ，存在唯一的两两不等的元素 $x_1, \dots, x_n \in M$ 以及全部非 0 的 $\alpha_1, \dots, \alpha_n$ 使得

$$ x = \alpha_1x_1 + \dots + \alpha_nx_n $$

由于 $\text{span}(M)$ 的定义可知上述线性组合的存在性。

假设存在 $\{y_1, \dots, y_m\} \ne \{x_1, \dots, x_n\}$ 使得

$$ x = \beta_1y_1 + \dots + \beta_my_m $$ $$ y_m = \frac1{\beta_m}(\alpha_1x_1 + \dots + \alpha_nx_n - \beta_1y_1 - \dots - \beta_{m-1}y_{m-1}) $$

因此

$$ y_m \in \text{span}\{x_1, \dots, x_n, y_1, \dots, y_{m-1}\} $$

假设 $y_m \not\in \{x_1, \dots, x_n\}$ ，则得出 $y_m$ 可以由 $\{x_1, \dots, x_n, y_1, \dots, y_{m-1}\}$ 线性表出，且 $y_m$ 不等于其中的任何一个元素，也就是说 $\{x_1, \dots, x_n, y_1, \dots, y_m\}$ 是线性相关的！与 Hamel 基的定义矛盾！

因此 $y_m \in \{x_1, \dots, x_n\}$ ，同理可以证明 $y_i \in \{x_1, \dots, x_n\}$ ，从而 $\{y_1, \dots, y_m\} \subset \{x_1, \dots, x_n\}$ ，同理

$\{x_1, \dots, x_n\} \subset \{y_1, \dots, y_m\}$ ，因此只能有 $\{y_1, \dots, y_m\} = \{x_1, \dots, x_n\}, m = n$ ，由线性无关性不难得出 $\beta_1 = \alpha_1, \dots, \beta_n = \alpha_n$ 。

例子：

$$ C_0 = \{(x_n)_{n\ge1}: x_n\to0\}\\ C_{00} = \{(x_n)_{n\ge1}: \exist N, \forall n \ge N, x_n = 0\}\\ $$ $e_n = (\underbrace{0, 0, \dots, 0}_{(n-1)个}, 1, 0, \dots)$ , 此时 $M = \{e_1, \dots, e_n, \dots\}$ 为 $C_{00}$ 的 Hamel 基（需证明：线性无关、能表示所有的元素），但不是 $C_0$ 的 Hamel 基。

反例如下：

$(1, \frac12, \dots, \frac1{2^n}, \dots) \in C_0$ 无法被上述 $M$ 表示出来。

定理：设 $X$ 为线性空间，则 $X$ 必有 Hamel 基。证明需要用到 Zorn 引理。

Zorn 引理：等价于选择公理。

需要先证明下面的定理。

定理：设 $X$ 为线性空间， $N\subset X$ 线性无关，则存在 $M$ 为 $X$ 的 Hamel 基， $N \subset M$ 。

证明：令

$$ \mathcal E = \lbrace M \subset X: M 线性无关，N \subset M\rbrace $$

则 $N \in \mathcal E$ ，定义半序关系 $M_1 \le M_2 \Leftrightarrow M_1 \subset M_2$ 。 $\forall \mathcal E_1 \subset \mathcal E$ 非空全序，定义 $\Omega = \bigcup_{M\in \mathcal E_1}M$ ，则 $N \subset \Omega$ 。设 $x_1, x_2, \dots, x_n \in \Omega$ 两两不等，存在 $M_1, M_2, \dots, M_n$ 使得 $x_i \in M_i \subset \mathcal E_1, 1 \le i \le n$ 。不妨设 $M_1 \le M_2 \le \dots M_n$ ，则 $x_i \in M_n, \forall 1 \le i \le n$ ，则根据 $M_n$ 的定义得到 $x_1, x_2, \dots, x_n$ 之间线性无关。这就证明了 $\Omega \in \mathcal E$ 。 $\forall M \in \mathcal E_1$ ，都有 $M \le \Omega$ ，说明 $\Omega$ 为 $\mathcal E_1$ 的一个上界。根据 Zorn 引理， $\mathcal E$ 有极大元 $M \in \mathcal E$ ，此时 $N \subset M$ ， $M$ 线性无关。若 $\text{span }M \subsetneq X$ ，这就说明存在 $x_0 \in X\setminus \text{span }M, x_0 \ne 0$ , 令 $M \cup \lbrace x_0\rbrace = M_1$ 为线性无关的，则 $N \subset M_1$ ，说明 $M_1 \in \mathcal E$ 。此时 $M \le M_1, M \ne M_1$ ，与 $M$ 是极大元矛盾！因此 $\text{span }M = X$ 。定理得证。

若 $X \ne \lbrace 0 \rbrace$ ，则存在 $x_0 \in X, x_0 \ne 0$ 。此时 $\lbrace x_0 \rbrace$ 线性无关，则存在 $M$ 为 $X$ 的 Hamel 基， $x_0 \in M$ 。这就证明了任意线性空间必有 Hamel 基。

赋范空间，Banach 空间

设 $X$ 为 $\mathbb K$ 上的线性空间，设

$$ ||\cdot||: X \to \R $$

满足：

$||x|| \ge 0$ （非负性）
$||x|| = 0 \Leftrightarrow x = 0$ （非退化性）
$||\lambda x|| = |\lambda| ||x||$ （齐次性）
$||x + y|| \le ||x|| + ||y||$ （三角不等式）

称 $||\cdot||$ 为 $X$ 上的范数， $(X, ||\cdot||)$ 为赋范空间。

可以在赋范空间中定义度量：

$$ d(x, y) = ||x - y|| $$

可验证 $d$ 满足非负性、非退化性、对称性、三角不等式。

这里的 $d$ 具有一般度量不具备的性质（显然一般度量空间不存在加法和数乘）：

平移不变性： $d(x + a, y + a) = d(x, y)$
齐次性： $d(ax, ay) = |a|d(x, y)$

不是所有的度量空间都有范数：

$$ S = \{(x_n)_{n\ge1}, x_n \in \mathbb K\}\\ d((x_n), (y_n)) = \sum_{n=1}^\infty \frac1{2^n}\frac{|x_n - y_n|}{1 + |x_n - y_n|} $$

例子：

$X = \mathbb K^n$ , $||x|| = \max_{1 \le i \le n}|x_i|$ ， $d_\infty((x_n), (y_n)) = \max_{1 \le i \le n} |x_i - y_i|$ 。

还有 $p$ 范数： $||x||_p = (\sum_{i=1}^n |x_i|^p)^{1/p}$ ，可以诱导对应的 $d_p$ 。

对于 $\ell^p$ ，定义 $||x||_p = (\sum_{i=1}^\infty |x_i|^p)^{1/p}$ ， $||x||_\infty = \sup ||x_n||$ 。

对于 $C[a, b]$ ，定义 $||x||_\infty = \max_{t\in [a,b]}|x(t)|$ ， $||x||_p = (\int_a^b|x(t)|^p\mathrm dt)^{1/p}$

离散度量也定义不了范数，首先齐次性就不可能满足了。

若 $(X, ||\cdot||)$ 为完备的，称 $(X, ||\cdot||)$ 为 Banach 空间。

$Y$ 为赋范空间 $X$ 的线性子空间。如果 $Y$ 是 Banach 空间，则可知 $Y$ 是 $X$ 中的闭集。如果 $X$ 是 Banach 空间，则 $Y$ 为 Banach 空间的充要条件是 $Y$ 为 $X$ 的闭子集。

设 $(X, ||\cdot||_X)$ , $(Y, ||\cdot||_Y)$ 为赋范空间，称 $T: X\to Y$ 为线性算子，如果

$$ T(\alpha x + \beta y) = \alpha Tx + \beta Ty, \quad x, y \in X, \quad \alpha, \beta \in \mathbb K $$

若 $T$ 是一一映射，且

$$ ||Tx||_Y = ||x||_X $$

则称 $T$ 为从 $X$ 到 $Y$ 的等距同构。 $X$ 与 $Y$ 之间为等距同构。

我们可以把等距同构的空间看成一个空间。

完备化定理

设 $X$ 为赋范空间，则存在 Banach 空间 $\hat X$ 及其线性子空间 $Y$ ，使得 $X$ 与 $Y$ 等距同构， $Y$ 在 $\hat X$ 中为稠密的。 $\hat X$ 在等距同构意义下是唯一的。即，若 $\hat X_1$ 为 Banach 空间，且 $Y$ 为 $\hat X_1$ 的稠密线性子空间且 $Y$ 与 $X$ 等距同构，则 $\hat X$ 与 $\hat X_1$ 等距同构。

$\hat X$ 称为 $X$ 的完备化。

赋范空间中，我们可以给出无穷和的定义：

$$ s_n = \sum_{i=1}^n x_i \in X $$

若存在 $s \in X$ ，使得 $s_n \to s$ ，则称 $\sum_{i\ge1} x_i$ 收敛，记为 $s = \sum_{i=1}^\infty x_i$ 。

同样可以定义柯西列的概念。

$S_N$ 为 $X$ 中柯西列，如果 $(X, ||\cdot||_X)$ 为 Banach 空间，则存在 $S\in X$ 使得 $S_n \to S$ 。

定义：若 $(X, ||\cdot||_X)$ 为 Banach 空间， $e_n\in X, (n\ge1)$ 称为 $X$ 的 Schauder 基，如果 $\forall x \in X$ ， $\exist ! \lambda_n \in \mathbb K$ ， $x = \sum_{n=1}^{\infty}\lambda_n e_n$ 。

Banach 空间保证了上述级数如果收敛，就一定会收敛到给定空间内的一点，不会跑到空间外面去。

如果 Banach 空间具有 Schauder 基，则这个空间一定是可分的。另一方面，Schauder 基是线性无关的，因此这个空间一定是无穷维的。

具有 Schauder 基的 Banach 空间一定是无穷维可分空间，但是无穷维可分的 Banach 空间不一定具有 Schauder 基。

有限维赋范空间

一个有用的引理：给定一组线性无关的元素 $e_1, \dots, e_n$ ，对任意 $\lambda_1, \dots, \lambda_n$ ，存在实数 $C$ 使得

$$ C(|\lambda_1| + \dots + |\lambda_n|) \le ||\lambda_1e_1 + \dots + \lambda_ne_n|| $$

等价范数：如果存在 $\alpha, \beta \gt 0$ ，

$$ \alpha ||x||_1 \le ||x||_2 \le \beta ||x||_1 $$

则 $||\cdot||_1, ||\cdot||_2$ 为等价范数。

定理：有限维赋范空间上的任意两个范数都是等价范数，且 $X$ 赋予任何范数都是 Banach 空间。

实际上只要证明任何范数都和 $||\cdot||_1$ 等价，在 $||\cdot||_1$ 上是完备空间，因此在所有的范数上都是完备空间。

推论： $X$ 为赋范空间，若 $Y$ 为 $X$ 的有限维线性子空间，则 $Y$ 一定是 Banach 空间。由于度量空间的任意完备子空间都是闭集，因此 $Y$ 是闭线性子空间。

引理： $Y$ 为 $X$ 的闭线性子空间，且 $Y\ne X$ ，则对任意 $0\lt \theta \lt 1$ ，存在 $x_0 \in X$ 使得 $||x_0||=1$ 且 $\forall y \in Y$ ， $||y - x_0|| \ge \theta$ 。

进一步地，如果 $\dim Y \lt \infty$ ，则 $\exist x_0 \in X$ ，使得 $||x_0||=1$ 且 $\forall y \in Y$ ， $||y - x_0|| \ge 1$ 。

Riesz 定理： $X$ 为赋范空间，则 $X$ 为有限维空间当且仅当 $X$ 的单位闭球 $\bar B(0, 1) = \lbrace x\in X: ||x|| \le 1\rbrace$ 为 $X$ 的紧集。

推论： $X$ 为赋范空间，则 $X$ 为有限维空间当且仅当 $X$ 的单位球面 $S(0, 1) = \lbrace x\in X: ||x|| = 1\rbrace$ 为 $X$ 的紧集。

紧集一定是有界闭集，但是有界闭集不一定是紧集。不过，在有限维赋范空间上，有界闭集和紧集等价。

Riesz 定理给出了有限维赋范空间和无穷维赋范空间的一个本质区别。实际上，在有限维赋范空间中，有界序列一定有收敛子列，因为有界序列一定在某个有界闭集中，有界闭集一定是紧集，因此一定有收敛子列；在无穷维赋范空间中，我们可以在单位闭球上看，任意单位闭球中的序列都是有界序列，假如它一定有收敛子列，则说明单位闭球是紧的，与 Riesz 定理矛盾。

有限维赋范空间 $M$ 中，对任意空间外一点 $x_0$ 都可以找到它到该空间的最佳逼近点 $y_0$ ：

$$ \rho(x_0, M) = \inf_{y \in M} d(x, y) = d(x, y_0) $$

比如向量空间，我们总可以找到点到子空间的最短距离，有唯一的投影点。

一个有用的引理：赋范空间 $X$ 为 Banach 空间当且仅当任取 $x_n \in X$ ， $||x_n|| \lt \frac{1}{2^n}$ ，级数 $\sum_{n\ge1} x_n$ 都在 $X$ 中收敛。

定理：若 $X$ 为 Banach 空间， $M$ 为 $X$ 的闭线性子空间，则商空间 $X/M$ 也是 Banach 空间。

线性算子

称 $T: X\to Y$ 为线性算子，若

$$ T(x + y) = Tx + Ty\\ T(\lambda x) = \lambda Tx\\ \Leftrightarrow T(\lambda x + \mu y) = \lambda Tx + \mu Ty $$ $N(T) = \ker(T) = \lbrace x \in X: Tx = 0\rbrace$ 为 $T$ 的零空间 $R(T) = \lbrace Tx: x \in X\rbrace$ 为像空间。

注：

$N(T)$ 为 $X$ 的线性子空间。
$R(T)$ 为 $Y$ 的线性子空间。
$T0_X = 0_Y$ 。因此 $0 \in N(T)$ 。

例子：

恒等映射 $I_X: X\to X, x \mapsto x$ ， $N(I_X) = \lbrace 0\rbrace$ ， $R(I_X) = X$

零算子： $0_X: X\to X, x\mapsto 0$ ， $N(I_X) = X$ ， $R(I_X) = \lbrace 0\rbrace$ 。

求导算子： $T: C^1[a, b]\to C[a, b], x\mapsto x^\prime$ ， $N(T) = \lbrace 常函数\rbrace$ ， $R(T) = C[a, b]$ 。

积分算子： $T: C[0, 1]\to C[0, 1]$ ， $(Tx)(t) = \int_0^t x(\tau)\mathrm d\tau$ ，则 $N(T) = \lbrace 0 \rbrace$ ， $R(T) = \lbrace x\in C^1[0,1]: x(0)=0\rbrace$ 。

若 $\dim X \lt \infty$ ，则 $\dim R(T) \le n$ 。假设 $e_1,\dots, e_n$ 为 $X$ 的 Hamel 基，则 $R(T) = \operatorname{span}\lbrace Te_1, \dots Te_n\rbrace$ ，因此 $\dim R(T) \le n$ 。

$T$ 为单射 $\Leftrightarrow N(T) = \lbrace 0\rbrace$

若 $T$ 为双射，则 $T^{-1}$ 仍然为线性算子。

有界线性算子：若 $\exist C \ge 0$ ， $\forall x \in X$ ， $x\ne 0$ ，都有 $||Tx||_Y \le C||x||_X$ ，称 $T$ 是有界线性算子。

$||T||=\sup_{x\in X, x\ne0}||Tx||_Y/||x||_x$ 为 $T$ 的范数，则 $||Tx||_Y \le ||T||||X||_X, \forall x \in X$ ， $||T||$ 为有界线性算子定义中的最小的 $C$ 。

注：

$||T|| = \sup_{x\in X, ||x||_X=1}||Tx||_Y$ 为 $T$ 范数的等价定义。
$||T|| = \sup_{x\in X, ||x||_X\le 1} ||Tx||_Y$ 。
$||T|| = \sup_{x\in X, ||x||_X \lt 1} ||Tx||_Y$ 。

关于注 3 的证明：设 $r = \sup_{x\in X, ||x|| \lt 1}||Tx||$ 。 $||Tx|| \le ||T||\ ||x|| \lt ||T||$ ，因此 $r \le ||T||$ 。另一方面，取 $y = \frac{(n-1)x}{n||x||}$ ，则 $||y|| = \frac{n - 1}{n} \lt 1$ ，且 $||Ty|| = \frac{n-1}{n}\frac{||Tx||}{||x||} \le r$ ，因此 $||T|| \le \frac{nr}{n-1}$ ，取 $n \to \infty$ 可得 $||T|| \le r$ ，从而 $||T|| = r$ 。

总觉得这个证明过程不太直观。直观上理解的话，显然由于 $T$ 是线性的，放大和缩小 $x$ 不会对 $||Tx||/||x||$ 的取值产生任何影响，因而一个球里取值可以代表所有的取值。上述证明 $||T|| \le \frac{nr}{n-1}$ 的过程就体现了这个思路。但是证明 $r \le ||T||$ 的思路则难以想到：由于 $x$ 总是在单位球内，因此 $||Tx|| \lt ||T||$ ，这可能是一个有用的小结论。

$B(X, Y)$ 表示所有从 $X$ 到 $Y$ 的有界线性算子之集。 $S, T \in B(X,Y)$ ，定义加法： $(S+T)x = Sx + Tx$ ，定义数乘： $\lambda \in \mathbb K，(\lambda S)x = \lambda Sx$ 。可以证明 $B(X, Y)$ 是线性空间。其上的范数 $||T|| = \sup_{x\ne 0}\frac{||Tx||}{||x||}$ 满足非负性、非退化性、齐次性、三角不等式。

举例： $X = Y = C[a, b]$ ，其上赋予范数 $||\cdot||_\infty$ ，令

$$ (Tx)(t) = \int_a^tx(\tau)\mathrm d\tau, t\in [a, b] $$

此时 $T$ 是线性算子，

$$ ||Tx||_\infty = \max_{a\le t \le b}|\int_0^t x(\tau)\mathrm d\tau| \le \max_{0\le t \le 1} \int_0^t |x(\tau)|\mathrm d\tau \le (b-a)||x||_\infty $$

因此 $||T|| \le (b-a)$ 。下面我们验证等号可以取到。我们取 $x(t) =1$ ，

$$ (Tx)(t) = t\\ ||Tx||_\infty = (a-b) = (a-b)||x||_\infty $$

因此 $||T|| \ge (b-a)$ ，从而 $||T|| = (b-a)$ 。

有界线性算子的复合： $T \in B(X, Y), S\in B(Y, Z)$ ，则 $T \circ S \in B(X, Z)$ 。实际上， $||TS|| \le ||T||\ ||S||$ ， $||T^n|| \le ||T||^n$ 。

定理：设 $X, Y$ 为赋范空间， $\dim X \lt \infty$ ， $T: X\to Y$ 为线性算子，则 $T \in B(X, Y)$ 。

证明：假设 $e_1, e_2, \dots, e_n$ 为 $X$ 的 Hamel 基， $\forall x \in X$ ， $\exist ! \lambda_1, \dots, \lambda_n \in \mathbb K$ ， $x = \lambda_1 e_1 +\dots+\lambda_n e_n$ 。根据引理，存在 $C \ge 0$ 使得对任意 $\lambda_1, \dots, \lambda_n \in \mathbb K$ ， $C(|\lambda_1| + \dots + |\lambda_n|) \le ||\lambda_1 e_1 + \dots + \lambda_n e_n||$ 。

因此

$$ ||T(x)|| = ||\lambda_1Te_1 + \dots \lambda_nTe_n||\\ \le (\max_{1 \le i \le n} ||Te_i||)(|\lambda_1| + \dots + |\lambda_n|)\\ \le (\max_{1 \le i \le n} ||Te_i||)\frac1C||\lambda_1 e_1 + \dots + \lambda_n e_n|| $$

因此 $T\in B(X, Y)$ 。

定理：设 $X, Y$ 为赋范空间， $T: X\to Y$ 为线性算子，则以下命题相互等价：

$T\in B(X, Y)$ ；
$T$ 为连续映射；
$T$ 在某处连续。

首先，1 推 2 很简单，因为 $||Tx - Ty|| \le ||T||\ ||x - y||$ 说明 $T$ 是 lipschitz 的，因此 $T$ 连续。

其次，2 推 3 也是显然。

接下来，对于 3 推 2，假设 $T$ 在 $x_0$ 处连续，则 $\forall \varepsilon \gt 0$ ， $\exist \delta \gt 0$ ，使得 $\forall x \in X$ 且 $||x - x_0|| \lt \delta$ ，都有 $||Tx - Tx_0|| \lt \varepsilon$ 。因此， $\forall x_1 \in X$ ，任取 $x \in X$ 使得 $||x - x_1|| \lt \delta$ ，都有 $||Tx - Tx_1|| = ||T(x - x_1 + x_0) - Tx_0||$ ，由于 $||(x - x_1 + x_0) - x_0|| = ||x - x_1|| \lt \delta$ ，根据 $T$ 在 $x_0$ 的连续性可以推出 $||T(x - x_1 + x_0) - Tx_0|| \lt \varepsilon$ ，也即 $||Tx - Tx_1|| \lt \varepsilon$ ，因此 $T$ 在 $x_1$ 处连续。因此 $T$ 在所有的点都连续。

对于 2 推 1， $T$ 在 $0$ 处连续，说明存在 $\delta \gt 0$ ，使得 $\forall x \in X s.t. ||x|| \lt \delta, ||Tx|| = ||Tx - T0|| \lt 1$ 。对任意 $x \in X$ ， $||\frac{\delta x}{2||x||}|| \lt \delta$ ，因此 $||T\frac{\delta x}{2||x||}|| \lt 1$ ，从而 $||Tx|| \lt \frac{2}{\delta}||x||$ ，所以 $T \in B(X, Y)$ 。

推论： $X, Y$ 为赋范空间，若 $T \in B(X, Y)$ ，则 $N(T) = \lbrace x \in X: Tx = 0\rbrace$ 为 $X$ 的闭线性子空间。

证明： $T \in B(X, Y)$ 处处连续。实际上， $N(T) = T^{-1}\lbrace0\rbrace$ ， $\lbrace0\rbrace$ 是闭集，连续映射中，闭集的逆像为闭集。

延拓：设 $X, Y$ 为集合， $X_0 \subset X$ ， $T_0: X_0\to Y$ ， $T: X\to Y$ ，设 $\forall x \in X_0$ ， $T_0x = Tx$ ，则称 $T$ 是 $T_0$ 的延拓， $T_0$ 是 $T$ 的限制， $T_0 = T\mid_{X_0}$ 。

保范延拓定理： $X$ 为赋范空间， $X_0$ 为 $X$ 的线性子空间， $Y$ 为 Banach 空间， $T_0 \in B(X_0, Y)$ ，则 $\exist ! T \in B(\bar X_0, Y)$ 为 $T_0$ 的延拓，且 $||T|| = ||T_0||$ 。

证明：

任取 $x \in \bar X_0$ ，存在序列 $x_n \in X_0, x_n \to x$ 。此时 $||T_0x_m - T_0x_n|| \le ||T_0|| ||x_m - x_n||$ ，因此 $T_0x_n$ 为 $Y$ 中的柯西列，由于 $Y$ 是完备的，柯西列一定收敛，因此存在 $y \in Y$ 使得 $T_0 x_n \to y$ 。

接下来证明， $y$ 与 $x_n$ 的选择无关。假设存在另一个序列 $x_n^\prime \to x$ ，但是 $Tx_n^\prime \to y^\prime$ 。我们可以构造第三个序列

$$ t_k = \begin{cases} x_n, k = 2n,\\ x_n^\prime, k = 2n + 1 \end{cases} $$

则 $t_k \to x$ ，同上述过程可以证明 $Tt_k$ 是 $Y$ 中的柯西列，存在 $y'' \in Y$ 使得 $Tt_k \to y''$ 。但是 $Tx_n$ 和 $Tx_n'$ 是 $Tt_k$ 的子列，因此它们三个的极限相同， $y = y'' = y'$ 。

（注：也可利用 $T$ 的连续性证明。）

因此，可以定义

$$ Tx = \lim_{n\to\infty}T_0x_n, x_n\in X_0, x_n \to x $$

上述构造过程得出的 $T$ 是唯一的，任取 $x_n$ 都不会影响极限的值。因此， $\forall x \in X_0$ ，我们可以取特殊的序列 $x_n = x$ ，此时有 $Tx = \lim_{n\to\infty}T_0x_n = \lim_{n\to\infty}T_0x = T_0x$ ，说明 $T$ 为 $T_0$ 的延拓。

接下来证明 $T$ 是有界线性算子。 $\forall x, y \in \bar X_0, \lambda, \mu \in \mathbb K$ ，存在序列 $x_n, y_n \in X$ ，使得 $x_n \to x, y_n \to y$ 。则 $T(\lambda x + \mu y) = \lim_{n\to\infty} T_0(\lambda x_n + \mu y_n) = \lim_{n\to\infty} \lambda T_0x_n + \mu T_0y_n = \lambda\lim_{n\to\infty} T_0x_n + \mu \lim_{n\to\infty} T_0y_n = \lambda Tx + \mu Ty$ 。因此 $T$ 是线性的。

另一方面， $||Tx|| = \lim_{n\to\infty} ||T_0x_n|| \le \lim_{n\to\infty} ||T_0||\ ||x_n|| = ||T_0||\ ||x||$ ，说明 $T$ 有界，且 $||T|| \le ||T_0||$ 。从而 $T \in B(\bar X_0, Y)$ 。

由于 $||T|| = \sup_{x \in \bar X_0, ||x|| = 1} ||Tx|| \ge \sup_{x \in X_0, ||x|| = 1} ||Tx|| = \sup_{x \in X_0, ||x|| = 1} ||T_0x|| = ||T_0||$ ，因此 $||T|| = ||T_0||$ 。

注：相等已经是最好的结果，毕竟延拓后的范数不会比原来更小。

还需要证明 $T$ 的唯一性。我们虽然证明了上述构造方法只能导出这一个 $T$ ，但是没有证明不存在其他的构造方法。假如还存在某个 $T'$ 是 $T_0$ 的延拓，则对任意 $x\in \bar X_0$ ，存在一个序列 $x_n\in X$ 且 $x_n \to x$ ， $T'$ 和 $T$ 都是连续映射，则 $Tx_n \to Tx, T'x_n \to T'x$ ，但是 $Tx_n = T_0x_n = T'x_n$ ，因此 $Tx = T'x$ ，这就证明了 $T' = T$ 。

线性泛函

设 $X$ 为 $\mathbb K$ 上的线性空间， $f: X \to \mathbb K$ ，为线性算子，则称 $f$ 为线性泛函。

$X^*$ 表示所有 $X$ 上的线性泛函之集。

如果 $f$ 满足 $\exist C \ge 0$ ， $\forall x \in X, |f(x)| \le C||x||$ ，则称 $f$ 为有界线性泛函。 $||f|| = \sup_{x \in X}|f(x)|/||x|| = \sup_{x \in X, ||x|| = 1}|f(x)|$ 。

$X'$ 表示所有 $X$ 上的有界线性泛函， $X' \subset X^*$ 。

例子：在 $\mathbb K^n$ 上的线性泛函 $f_a \in (\mathbb K^n)'$

$$ f_a(x) = \sum_{i=1}^n a_ix_i $$

它的范数为 $||a||_2$ 。

第二个例子：设 $X = C[a, b]$ ， $Y = \mathbb K$ ， $C[a, b]$ 上赋予范数 $||\cdot||_\infty$ ，给定一点 $t_0 \in [a, b]$ ，令

$$ \delta_{t_0}(x) = x(t_0) $$ $\delta_{t_0}$ 为有界线性泛函，且 $||\delta_{t_0}|| = 1$ 。 $\delta_{t_0}$ 称为 $t_0$ 点的 Dirac 测度。

换成其他范数就不成立了，因为 $x(t_0)$ 可以任意大，而它在 $[a, b]$ 上的积分可以足够小。

$f, g \in X^*$ ，定义加法： $(f+g)(x) = f(x) + g(x)$ ，容易证明 $(f+g)(\lambda x + \mu y) = \lambda (f + g)(x) + \mu (f + g)(y)$ ，因此 $f+g\in X^*$ 。 $\lambda \in \mathbb K$ ，定义数乘 $(\lambda f)(x) = \lambda f(x)$ ，容易证明 $\lambda f \in X^*$ 。 $X^*$ 为线性空间，设 $\dim X = n \lt \infty$ ， $e_1, \dots, e_n$ 为 $X$ 的一个 Hamel 基， $\forall x \in X$ ， $\exist ! \lambda_1, \dots, \lambda_n \in \mathbb K$ ， $x = \lambda_1e_1 + \dots + \lambda_ne_n$ 。取 $\varphi_i$ 使得 $\varphi_i(x) = \lambda_i$ ， $\forall 1 \le i \le n$ 。

若设 $x = \lambda_1e_1 + \dots + \lambda_ne_n, y = \mu_1e_1 + \dots + \mu_ne_n$ ，则 $x + y = (\lambda_1 + \mu_1)e_1 + \dots + (\lambda_n + \mu_n)e_n$ ， $\varphi_i(x + y) = \lambda_i + \mu_i = \varphi_i(x) + \varphi_i(y)$ ，对任意 $a \in \mathbb K$ ，有 $\varphi_i(ax) = a\lambda_i = a\varphi_i(x)$ ，因此 $\varphi_i \in X^*$ ， $\varphi_i(e_j) = \delta_{ij}$ 。

设 $\lambda_1 \varphi_1 + \dots + \lambda_n \varphi_n = 0$ ，则 $(\lambda_1 \varphi_1 + \dots + \lambda_n \varphi_n)(e_i) = \lambda_i = 0$ ，因此 $\varphi_1, \dots, \varphi_n$ 线性无关。

对任意 $\varphi \in X^*$ ，对任意 $x \in X$ ，存在唯一分解 $x = \lambda_1e_1 + \dots + \lambda_ne_n$ ，从而 $\varphi(x) = \varphi(e_1)\varphi_1(x) + \dots + \varphi(e_n)\varphi_n(x) = (\varphi(e_1)\varphi_1 + \dots + \varphi(e_n)\varphi_n)(x)$ ，因此 $X^* = \text{span}(\varphi_1, \dots, \varphi_n)$ ， $\dim X^* = n$ 。其中 $\varphi_1, \dots, \varphi_n$ 称为 $e_1, \dots, e_n$ 的对偶基。

对于赋范空间， $\dim X \lt \infty$ ， $\forall f \in X^*$ ， $f\in X'$ （有限维空间的线性算子一定是有界算子）， $\dim X' = \dim X$ 。

设 $X, Y$ 为赋范空间， $B(X, Y) = \lbrace T: X\to Y 有界线性\rbrace$ 。定理：设 $Y$ 为 Banach 空间，则 $B(X, Y)$ 为 Banach 空间。

证明：假设 $T_n \in B(X, Y)$ 为柯西列， $\forall x \in X$ ，有

$$ ||T_n x - T_mx|| \le ||T_n - T_m||\ ||x|| $$

因此 $T_nx$ 为柯西列，由于 $Y$ 完备，柯西列一定收敛，设

$$ Tx = \lim_{n\to\infty} T_nx $$

则 $T: X\to Y$ ，下面证明 $T\in B(x, y)$ 。

$$ T(\lambda_1x_1 + \lambda_2x_2) = \lim_{n\to\infty} T_n(\lambda_1x_1 + \lambda_2x_2)\\ =\lim_{n\to\infty} （T_n\lambda_1x_1 + T_n\lambda_2x_2) = \lambda_1Tx_1 + \lambda_2Tx_2 $$

因此 $T$ 是线性算子。另一方面，对任意 $\varepsilon \gt 0$ ，存在 $N \ge 1$ ，使得对任意 $m, n \ge N$ 都有 $||T_n - T_m || \lt \varepsilon / 2$ 。对任意 $x \in X$ ， $||T_nx - T_mx|| \le ||T_n - T_m||\ ||x|| \lt \varepsilon ||x|| /2$ 。可以取 $m = N$ ， $n \to \infty$ ，则 $||Tx - T_Nx|| \lt \varepsilon ||x|| /2$ 。因此 $||Tx|| \le \varepsilon ||x|| /2 + ||T_Nx|| \le (\varepsilon ||x|| /2 + ||T_N||)||x||$ ，从而 $T$ 有界。因此 $T \in B(X, Y)$ 。

刚才 $T$ 的定义是 $Tx = \lim_{n\to\infty}T_nx$ ，尚未证明 $T \to T_n$ 。实际上对任意 $n \ge N$ ， $||Tx - T_nx|| = ||(T - T_n)x|| \lt \varepsilon ||x|| /2$ ，因此 $||T - T_n|| \le \varepsilon / 2 \lt \varepsilon$ ，这就证明了 $T_n \to T$ 。

推论： $X' \in B(X, \mathbb K)$ 总是 Banach 空间。

例子：还是刚才的 $f_a$ ，我们可以定义映射 $T: (\mathbb K^n, ||\cdot||_2) \to (\mathbb K^n, ||\cdot||_2)', a \mapsto f_a$ ，实际上 $T$ 是一个线性保范映射（容易证明），而且是双射。首先 $T$ 是单射，因为 $f_a=0\Rightarrow ||f_a|| = ||a||_2 = 0\Rightarrow a = 0$ ，说明 $N(T) = \lbrace0\rbrace$ 。其次 $T$ 是满射，因为对任意 $f \in (\mathbb K^{n})'$ ，设 $e_1, \dots e_n$ 为 $\mathbb K^n$ 的自然基，则取 $a = (f(e_1), \dots, f(e_n))$ ，可以证明 $f = f_a$ 。

因此 $(\mathbb K^n, ||\cdot||_2)'$ 实际上与 $(\mathbb K^n, ||\cdot||_2)$ 等距同构，或者说，它们就是一个空间。

不过注意， $(\mathbb K^n, ||\cdot||_2)'$ 指的是 $x \in \mathbb K^n$ ， $f_a: \mathbb K^n \to \mathbb K$ ，而 $(\mathbb K^n, ||\cdot||_2)$ 指的是 $a\in \mathbb K^n$ 。

第二个例子： $(c_0)' = \ell^1$ 。（等距同构意义下相等）

实际上可以证明，对任意 $f\in (c_0)'$ ，任意 $x = (x_1, x_2, \dots) \in c_0$ ，有 $f(x) = \sum_{i=1}^\infty f(e_n)x_n$ ， $(f(e_1), f(e_2), \dots) \in \ell^1$ 。

第三个例子： $(\ell^1)' = \ell^\infty$ .

考虑 $e_i = \lbrace \delta_{ij}\rbrace \in \ell^1$ 。

定义 $T: (\ell^1)' \to \ell^\infty, f\mapsto (f(e_1), f(e_2), \dots)$ 。 $f(e_i)$ 有界，因此 $(f(e_1), f(e_2), \dots) \in \ell^\infty$ 。

下面证明 $T$ 为单射。考虑 $f, g \in (\ell^1)'$ ， $Tf = Tg$ 。取 $x^{(n)} = (x_1, x_2, \dots, x_n, 0, 0, \dots)$ ，则 $x^{(n)} = x_1e_1 + \dots + x_ne_n$ ，有 $f(x^{(n)}) = g(x^{(n)})$ ， $n\to\infty$ 时 $||x^{(n)} - x|| \to 0$ ，由于 $f, g$ 为连续映射，因此 $f(x^{(n)}) \to f(x), g(x^{(n)}) \to g(x)$ ，但是 $f(x^{(n)}),g(x^{(n)})$ 是相同的序列，因此它们收敛到相同的点， $f(x) = g(x)$ 。因此 $f = g$ 。

这里这么构造的原因可能是因为 $f, g$ 的线性性对于有限个元素生效，但是对于无限个元素求和，未必能保持线性。所以使用一系列有限长度的序列逼近。

证明了 $T$ 是单射之后，就可以说明 $f(x) = \sum_{i=1}^\infty f(e_i)x_i$ 了： $Tf = (f(e_1), f(e_2), \dots)$ ，而 $g: x \mapsto \sum_{i=1}^\infty f(e_i)x_i$ 满足 $Tg = (f(e_1), f(e_2), \dots) = Tf$ ，因此 $f = g$ 。

证明 $T$ 为满射，实际上就是证明对任意 $a \in \ell^\infty$ ，都存在一个泛函 $f \in (\ell^1)'$ 使得 $Tf = a$ 。

下一个例子： $(\ell^p)' = \ell^q$ 。其中 $\frac1p + \frac{1}{q} = 1, p \gt 1$ 。

考虑赋范空间 $\ell^p, ||\cdot||_p$ ，同样记 $e_i = \lbrace \delta_{ij}\rbrace \in \ell^p$ 。若 $f \in (\ell^p)^{\prime}$ ，考虑 $x^{(n)} = \lbrace \xi^{(n)}\rbrace$

$$ \xi_i^{(n)} = \begin{cases} |f(e_i)|^q/f(e_i), i\le n 且 f(e_i) \ne 0, 0, 否则. \end{cases} $$

则 $x^{(n)}\in \ell^p$ 且

$$ f(x^{(n)}) = f(\sum_{i = 1}^n \xi_i^{(n)}e_i) = \sum_{i = 1}^n \xi_i^{(n)}f(e_i) = \sum_{i = 1}^n |f(e_i)|^q $$

又由于

$$ f(x^{(n)}) \le ||f|| \left( \sum_{i = 1}^n \frac{|f(e_i)|^{pq}}{|f(e_i)|^p}\right)^{1/p} \le ||f|| \left( \sum_{i = 1}^n |f(e_i)|^{p(q - 1)}\right)^{1/p}\\ = ||f|| \left( \sum_{i = 1}^n |f(e_i)|^{q}\right)^{1/p} $$

因此

$$ \sum_{i = 1}^n |f(e_i)|^q \le ||f|| \left( \sum_{i = 1}^n |f(e_i)|^{q}\right)^{1/p} $$

即

$$ ||f|| \ge \left( \sum_{i = 1}^n |f(e_i)|^{q}\right)^{1/q} $$

令 $n \to \infty$ ，则

$$ ||f|| \ge \left(\sum_{i = 1}^\infty|f(e_i)|^{q}\right)^{1/q} $$

因此， $\lbrace f(e_i)\rbrace \in \ell^q$ 。我们可以构造映射

$$ T: (\ell^p)^\prime \to \ell^q\\ f\mapsto \lbrace f(e_i)\rbrace $$

容易证明 $T$ 为线性算子，类似之前的例子，可以证明 $T$ 为单射。

内积空间

设 $X$ 为 $\mathbb K$ 上的线性空间，定义

$$ \langle \cdot, \cdot\rangle: X \cdot X \to \mathbb K\\ (x, y) \mapsto \langle x, y\rangle $$

满足如下性质：

$\langle \lambda_1x_1 + \lambda_2x_2, y\rangle = \lambda_1 \langle x_1, y\rangle + \lambda_2 \langle x_2, y\rangle$
$\overline{\langle x, y \rangle} = \langle y, x\rangle$
$\langle x, x\rangle \ge 0$
$\langle x, x\rangle = 0 \Leftrightarrow x = 0$

则称 $\langle \cdot, \cdot\rangle$ 为 $X$ 上的内积，称 $(X, \langle \cdot, \cdot\rangle)$ 为内积空间。

令 $||x|| = \langle x, x\rangle^{1/2} \ge 0$ ，就得到了一种范数。

注： $\langle x, \lambda_1y_1 + \lambda_2 y_2\rangle = \overline{\lambda_1}\langle x, y_1\rangle + \overline{\lambda_2}\langle x, y_2\rangle$ ，称为共轭线性。

若 $\mathbb K = \R$ ，则 $\langle x, y\rangle = \langle y, x\rangle$ 。

定理：设 $X$ 为内积空间，则

Cauchy-Schwarz 不等式： $|\langle x, y\rangle| \le ||x||\ ||y||$
三角不等式： $||x + y|| \le ||x|| + ||y||$ ，并且等号成立当且仅当 $y = 0$ 或者 $x = cy$ 。

证明：对于 1， $||0|| = \langle 0, 0\rangle = 0$ 。若 $y = 0$ ， $\langle x, 0\rangle = \langle x, \lambda 0\rangle = \bar \lambda \langle x, 0\rangle$ ，因此 $\langle x, 0\rangle = 0$ ，此时不等式取到等号。

若 $y \ne 0$ ，对任意 $c \in \mathbb K$ ，

$$ \begin{align*} 0 &\le \langle x - cy, x - cy\rangle\\ &= \langle x, x - cy\rangle - c\langle y, x - cy\rangle\\ &= \langle x, x\rangle - \bar c\langle x, y\rangle - c\langle y, x\rangle + |c|^2\langle y, y\rangle\\ &= ||x||^2 - \bar c\langle x, y\rangle - c\langle y, x\rangle + |c|^2||y||^2 \end{align*} $$

令 $c = \langle x, y\rangle/ ||y||^2$ ，则可以推出

$$ 0 \le \langle x - cy, x - cy\rangle = ||x||^2 - \frac{|\langle x, y\rangle|^2}{||y||^2}\\ \Rightarrow |\langle x, y\rangle| \le ||x||\ ||y|| $$

等号成立等价于 $x = cy$ 或者 $y = 0$ ，实际上，等价于 $x, y$ 线性相关。

对于 2，

$$ \begin{align*} ||x + y||^2 &= \langle x + y, x + y\rangle\\ &= \langle x, x + y\rangle + \langle y, x + y\rangle\\ &= \langle x, x\rangle + \langle x, y\rangle + \langle y, x\rangle + \langle y, y\rangle\\ &= ||x||^2 + ||y||^2 + 2\text{Re}(\langle x, y\rangle)\\ &\le ||x||^2 + ||y||^2 + 2|\langle x, y\rangle|\\ &\le ||x||^2 + ||y||^2 + 2||x||\ ||y||\\ &= ||x + y||^2 \end{align*} $$

等号成立当且仅当 $x, y$ 线性相关。

第二个有点奇怪，赋范空间里面早就有三角不等式了，但是赋范空间中没有给出取等条件。直到定义了内积，才成功导出这个条件。

从内积诱导范数 $||x|| = \langle x, x\rangle^{1/2} \ge 0$ ，若 $(X, ||\cdot||)$ 为 Banach 空间，则称 $X$ 为 Hilbert 空间。

有平行四边形等式：

$$ ||x + y||^2 + ||x - y||^2 = 2(||x||^2 + ||y||^2) $$

定理：若 $||\cdot||$ 为 $X$ 上的范数，则能够诱导出该范数的内积 $||x|| = \langle x, x\rangle^{1/2} \ge 0$ 存在的充要条件为 $\forall x, y \in X$ ，

$$ ||x + y||^2 + ||x - y||^2 = 2(||x||^2 + ||y||^2) $$

必要性好证，充分性的证明非常复杂。大意是说，对于 $\mathbb K = \R$ ，我们取

$$ \langle x, y\rangle = \frac{1}{4}(||x + y||^2 - ||x - y||^2) $$

对于 $\mathbb K = \mathbb C$ ，我们取

$$ \langle x, y\rangle = \frac{1}{4}(||x + y||^2 - ||x - y||^2) + \frac{i}{4}(||x + iy||^2 - ||x - iy||^2) $$

可以证明这样定义出来的内积，诱导出来的范数就是 $||\cdot||$ 。上面这两个等式称为极化恒等式。

内积的连续性：若 $x_n\to x, y_n\to y$ ，则 $\langle x_n, y_n\rangle \to \langle x, y\rangle$ .

实际上：

$$ \begin{aligned} &|\langle x_n, y_n\rangle - \langle x, y\rangle|\\ &=|\langle x_n, y_n \rangle - \langle x_n, y\rangle + \langle x_n, y\rangle - \langle x, y\rangle|\\ &=|\langle x_n, y_n - y\rangle + \langle x_n - x, y\rangle|\\ &\le |\langle x_n, y_n - y\rangle| + |\langle x_n - x, y\rangle|\\ &\le ||x_n||\ ||y_n - y|| + ||x_n - x||\ ||y||\\ \end{aligned} $$

首先，让 $x_n \to x$ ，则 $||x_n|| \to ||x||$ ；然后让 $y_n \to y$ ，就得到了上式趋于 0.

内积的几个例子：

首先是 $\mathbb K^n$

$$ \langle (x_1, \dots, x_n), (y_1, \dots, y_n)\rangle = \sum_{i = 1}^n x_i \bar y_i\\ $$

然后是 $\ell^2$ ：

$$ \langle (x_n)_{n\ge_1}, (y_n)_{n\ge 1}\rangle = \sum_{n = 1}^\infty x_n\bar y_n $$

接下来是 $X = C[a, b]$ ， $x, y \in X$ ，

$$ \langle x, y\rangle = \int_{a}^b x(t)\overline{y(t)}\mathrm dt $$

这些空间上诱导的范数都是 $||\cdot||_2$ 。

对于 $\mathbb K^n$ ， p 范数或者无穷范数都不可能由内积空间诱导出来。实际上取 $x = (1, 0, \dots, 0), y = (0, 1, 0, \dots, 0)$ ，若存在对应的内积，则它应该满足平行四边形等式。

$$ ||x+y||_p = 2^{1/p}, ||x - y||+p = 2^{1/p}\\ ||x + y||_p^2 + ||x - y||_p^2 = 2^{1 + 2/p}\\ 2 ||x||_p^2 + 2||y||_p^2 = 4 $$

依据平行四边形等式 $1 + 2/p = 2$ ，只能得到 $p = 2$ 。

但是你的范数，是用开方定义的，平行四边形法则也是2范数下的平行四边形法则，这合理吗？在 p 范数下难道不应该是 p 范数的平行四边形法则：
$$ > ||x + y||_p^p + ||x - y||_p^p = 2||x||_p^p + 2||y||_p^p > $$
你用 2 范数版本的平行四边形法则去验证 p 范数，当然不成立，这个结论是非常 trival 的。

等距同构：设 $(X_1, \langle\cdot, \cdot\rangle_1), (X_2, \langle\cdot, \cdot\rangle_2)$ 为内积空间，称 $X_1, X_2$ 为等距同构，如果存在双射线性算子 $T: X_1 \to X_2$ ，对于任意 $x, y \in X_1$ ，都有

$$ \langle Tx, Ty\rangle_2 = \langle x, y\rangle_1 $$

实际上， $\langle Tx, Ty\rangle_2 = \langle x, y\rangle_1 \Leftrightarrow ||Tx||_2 = ||x||_1$ 。

从左到右是显然的。从右到左，我们可以利用极化恒等式。例如，如果 $\mathbb K = \R$ ，

$$ \langle Tx, Ty\rangle_2 = \frac14 (||Tx + Ty||^2_2 - ||Tx - Ty||_2^2)\\ = \frac14 (||T(x + y)||^2_2 - ||T(x - y)||_2^2)\\ = \frac14 (||x + y||^2_1 - ||x - y||_1^2) = \langle x, y\rangle_1 $$

定理： $X$ 为内积空间，则存在唯一 $\hat X$ 为希尔伯特空间，存在 $W$ 为 $\hat X$ 的线性空间，满足：

$W$ 与 $X$ 等距同构
$\bar W = \hat X$ ， $W$ 在 $\hat X$ 中稠密。

则称 $\hat X$ 为 $X$ 的一个完备化。

正交补和直和

定理： $X$ 为内积空间， $M \subset X$ 为非空凸集， $M$ 为完备的，则存在唯一的 $y_0 \in M$ 为 $x_0$ 在 $M$ 中的最佳逼近元。

证明：记 $\delta = \rho(x_0, M)$ ，存在序列 $y_n \in M$ 使得 $||x_0 - y_n|| = \delta_n \to \delta$ 。

此时

$$ \begin{aligned} ||y_n - y_m||^2 &= ||(y_n - x_0) - (y_m - x_0)||^2\\ &= 2||y_n - x_0||^2 + 2||y_m - x_0||^2 - ||y_n + y_m - 2x_0||^2\\ &= 2(\delta_n^2 + \delta_m^2) - 4||\frac{y_m + y_n}{2} - x_0||^2\\ &\le 2(\delta_n^2 + \delta_m^2) - 4\delta^2 \to 0,\quad m,n\to\infty \end{aligned} $$

其中 $\frac{y_m + y_n}{2} \in M$ 是根据凸集的条件得到的。因此 $y_n$ 为柯西列，由于 $M$ 完备，这个序列在 $M$ 中收敛， $y_n \to y_0 \in M$ ，这就证明了 $\delta = ||y_0 - x_0||$ 。

接下来证明它的唯一性。假设存在 $y_0^\prime$ 也满足 $||x_0 - y_0^\prime|| = \delta$ ，

$$ \begin{aligned} ||y_0 - y_0^\prime||^2 &= ||(y_0 - x_0) - (y_0^\prime - x_0)||^2\\ &= 2||y_0 - x_0||^2 + 2||y_0^\prime - x_0||^2 - 4||\frac{y_0 + y_0^\prime}{2} - x_0||^2\\ &\le 2\delta^2 + 2\delta^2 - 4\delta^2 = 0 \end{aligned} $$

因此 $y_0^\prime = y_0$ 。

注：

若 $X$ 为希尔伯特空间，则可以设 $M$ 为非空闭凸集；
若 $X$ 为内积空间， $M \subset X$ 为完备线性子空间，则上述结论也成立。（线性空间当然也是凸的）

定理：设 $X$ 为内积空间， $M$ 为 $X$ 的完备线性空间，则对任意 $x_0 \in X$ ，存在唯一的 $y_0 \in M$ 为 $x_0$ 在 $M$ 中的最佳逼近元，则 $x_0 - y_0 \perp M$ ，即 $\forall z_0 \in M, \langle x_0 - y_0, z_0\rangle = 0$ 。

证明：只需要证明最后一句话。假设存在 $z_1 \in M$ ，使得 $\langle x_0 - y_0, z_1\rangle \ne 0$ ，记 $\xi = x_0 - y_0$ ， $\lambda = \langle \xi, z_1\rangle / ||\xi||^2$ ，则

$$ 0 \le ||x_0 - (y_0 + \lambda z_1)||^2 = ||\xi - \lambda z_1||^2\\ = ||\xi||^2 - \bar\lambda\langle\xi, \bar z_1\bar \rangle - \lambda\langle z_1, \xi\rangle + |\lambda|^2\ ||z_1||^2\\ = ||\xi||^2 - \frac{|\langle \xi, z_1\rangle|^2}{||z_1||^2} \lt ||\xi||^2 = ||x_0 - y_0||^2 $$

这就说明了 $||x_0 - (y_0 + \lambda z_1)|| \lt ||x_0 - y_0||$ ，但是 $y_0 + \lambda z_1 \in M$ ，但是 $y_0$ 是最佳逼近元，矛盾！

定义正交： $x\perp y \Leftrightarrow \langle x, y\rangle = 0$ 。

内积空间 $X$ ，对于 $M \subset X$ 非空，定义 $M^\perp = \lbrace x \in X: \forall y \in M, x \perp y\rbrace$ ，为 $M$ 的正交补。

注： $M^\perp$ 为 $X$ 的闭线性子空间。

证明： $\forall x_n \in M^\perp$ ，设 $x_n \to x \in X$ 。 $\forall y \in M$ ， $\langle x_n, y\rangle = 0$ ， $n\to\infty$ 得到 $\langle x, y\rangle = 0$ ，因此 $x \in M^\perp$ ，这就证明了 $M^\perp$ 是闭集。

$\forall x, y \in M^\perp, \lambda, \mu \in \mathbb K$ ，存在 $z \in M$ ， $$ \langle \lambda x + \mu y, z\rangle = \lambda \langle x, z\rangle + \mu \langle y, z\rangle = 0 $$

因此 $\lambda x + \mu y \in M^\perp$ ，证明 $M^\perp$ 为 $X$ 的闭线性子空间.

直和: $X$ 为线性空间, $Y, Z$ 为 $X$ 的线性子空间, $Y + Z = \lbrace y + z: y \in Y, z\in Z\rbrace$ 为 $X$ 的线性子空间.称 $X$ 为 $Y$ 和 $Z$ 的直和, $X = Y \oplus Z$ , 若对任意 $x \in X$ , 存在唯一 $y \in Y$ , 唯一 $z \in Z$ , 使得 $x = y + z$ .

定理: 设 $H$ 为希尔伯特空间, 设 $M$ 为 $H$ 的闭线性子空间, 则 $H = M \oplus M^\perp$ .

证明: $\forall x \in H$ , $\exist! y \in M$ 为 $x$ 在 $M$ 中的最佳逼近元, $x - y \in M^\perp$ . 下面证明唯一性, 设 $x = y_1 + z_1 = y_2 + z_2$ , $y_1, y_2 \in M, z_1, z_2 \in M^\perp$ ,则

$$ ||y_1 - y_2||^2 = \langle y_1 - y_2, y_1 - y_2\rangle = \langle y_1 - y_2, z_1 - z_2\rangle = 0 $$

因此 $y_1 = y_2$ ，从而 $z_1 = z_2$ ，这就证明了唯一性。

注：

$||x||^2 = ||y||^2 + ||z||^2$ ，因此 $||y|| \le ||x||, ||z|| \le ||x||$ 。

我们可以定义线性算子 $P_M: H \to M$ ，它能够把 $H$ 中的任意元素投影到 $M$ 中（也就是得到它在 $M$ 中的最佳逼近元）。显然 $\|P_M\| \le 1$ ，且若 $M = \lbrace 0 \rbrace$ ，则 $P_M = 0, \|P_M\| = 0$ ；否则 $P_Mx_0 = x_0, \forall x_0 \in M$ ，因此 $\|P_M\| = 1$ 。 $N(P_M) = M^\perp, R(P_M) = M$ 。 $P_M + P_{M^\perp} = I_{H}$ 。 $P_M^2 = P_M$ 。

定理：设 $H$ 为 Hilbert 空间， $M$ 为 $H$ 的闭线性子空间，则 $(M^\perp)^\perp = M$ 。

证明： $\forall x \in M, \forall y \in M^\perp$ ， $x \perp y$ 。则 $x \in (M^\perp)^\perp$ ，从而 $M \subset (M^\perp)^\perp$ 。

$\forall x \in (M^\perp)^\perp$ ，下证 $x \in M$ 。存在唯一的 $y \in M \subset (M^\perp)^\perp, z \in M^\perp$ ，使得 $x = y + z$ 。则 $(x - y) = z$ ，我们知道 $x - y \in (M^\perp)^\perp$ ， $z \in M^\perp$ ，因此只能有 $x - y = z = 0$ ，因此 $x = y \in M$ 成立。得证。

引理：设 $X$ 为内积空间， $M$ 为 $X$ 的非空子集，则

$$ (\text{span}(M))^\perp = M^\perp, (\bar M)^\perp = M^\perp $$

证明： $\forall x \in M^\perp$ ， $\forall y \in \text{span}\ M$ ，存在 $y_1, \dots, y_n \in M$ ， $\lambda_1, \dots, \lambda_n \in \mathbb K$ ，使得

$$ y = \lambda_1y_1 + \dots + \lambda_ny_n $$

则

$$ \langle x, y \rangle = \bar \lambda_1\langle x, y_1\rangle + \dots + \bar \lambda_n\langle x, y_n\rangle = 0 $$

从而 $x \in \text{span } M$ ，从而 $M^\perp \subset (\text{span }M)^\perp$ 。但是 $\text{span } M \subset M$ ，因此自然有 $M^\perp \supset (\text{span }M)^\perp$ ，因此 $M^\perp = (\text{span }M)^\perp$ 。

$M \subset \bar M$ ，因此 $M^\perp \subset \bar M^\perp$ 。存在 $y_n \in M$ ，使得 $y_n \to y$ ，由内积的连续性， $0 = \langle x, y_n\rangle\to \langle x, y\rangle$ ，因此 $x \in (\bar M)^\perp$ ，这就证明了 $(\bar M)^\perp \subset M^\perp$ ，因此 $(\bar M)^\perp = M^\perp$ .

定义： $M \subset X$ 称为完全集，如果 $\text{span}(M)$ 在 $X$ 中稠密。

定理： $H$ 为 Hilbert 空间， $M$ 在 $H$ 中为完全集当且仅当 $M^\perp = \lbrace 0 \rbrace$ 。

证明：先证明必要性： $\overline{\text{span }M} = H$ ，则 $M^\perp = (\text{span} M)^\perp = (\overline{\text{span} M})^\perp = H^\perp = \lbrace 0\rbrace$ 。对于充分性： $(\overline{\text{span} M})^\perp = M^\perp = \lbrace0\rbrace$ ，由于 $N = \overline{\text{span} M}$ 是 $H$ 的闭线性子空间，因此 $H = N \oplus N^\perp = N = \overline{\text{span} M}$ 。

标准正交集（基）

$X$ 为内积空间， $M \subset X$ 称为正交集，若 $\forall x, y \in M$ ， $x \ne y$ ，则 $x \perp y$ 。若 $N = \lbrace \frac{x}{\|x\|}: x\in M\rbrace$ ，则 $N$ 也为正交集。

对于正交集 $N$ ，若 $\forall x \in N$ ， $\|x\| = 1$ ，则称 $N$ 为标准正交集。

引理： $N$ 为 $X$ 的标准正交集，则

$\forall e_1, \dots, e_n \in N$ 两两不等， $\lambda_1, \dots, \lambda_n \in \mathbb K$ ，都有 $\| \lambda_1e_1 + \dots + \lambda_ne_n\|^2 = |\lambda_1|^2 + \dots + |\lambda_n|^2$
$N$ 是线性无关的。

对于 1， $\| \lambda_1e_1 + \dots + \lambda_ne_n\|^2 = \langle \lambda_1e_1 + \dots + \lambda_ne_n, \lambda_1e_1 + \dots + \lambda_ne_n\rangle = \sum_{1 \le i, j \le n}\lambda_i\bar\lambda_j \langle e_i, e_j \rangle = |\lambda_1|^2 + \dots + |\lambda_n|^2$

对于 2， $a_1, \dots, a_n \in \mathbb K$ 使得 $a_1e_1 + \dots + a_ne_n = 0$ ，根据 1 可以得到 $0 = \|a_1e_1 + \dots + a_ne_n\|^2 = |a_1|^2 + \dots + |a_n|^2$ ，因此 $a_1 = \dots = a_n = 0$ ，说明是线性无关的。

例子： $X = \mathbb K^n$ ，取 $e_i = (0, \dots, 0, \underline{1}_{第i个}, 0, \dots, 0) \in \mathbb K^n$ 。

例子： $X = \ell^2$ ，取 $e_i = \lbrace\delta_{ij}\rbrace$ 。

例子： $X = C[0, 2\pi], \mathbb K = \R$ ，取 $f_n(t) = \sin (nt)\;(n \ge 1), g_n(t) = \cos (mt)\; (m\ge0)$ 。不是标准正交集， $\|f_n\| = \|g_m\| = \sqrt{2\pi}$ 。

例子： $X = C[0, 2\pi], \mathbb K = \mathbb C$ ，取 $e_m = e^{imt}$ 。则 $\lbrace \frac{e_m}{\sqrt{2\pi}}: m \in \Z\rbrace$ 为标准正交集。

设 $X$ 为内积空间， $N$ 为标准正交集， $e_1, \dots, e_n \in N$ 两两不等，对于 $x = \lambda_1e_1 + \dots + \lambda_ne_n$ 有

$$ x = \sum_{i = 1}^n \langle x, e_i\rangle e_i $$ $\forall x \in X$ ，设 $$ y = \sum_{i = 1}^n \langle x, e_i\rangle e_i $$

下证 $x - y \perp y$ 。实际上，

$$ \langle x - y, y\rangle = \langle x, y\rangle - \|y\|^2 = \langle x, \sum_{i = 1}^n \langle x, e_i\rangle e_i\rangle - \sum_{i = 1}^n |\langle x_i, e_i\rangle|^2 = 0 $$

因此 $\|x - y\|^2 + \|y\|^2 = \|x\|^2 \ge \|y\|^2$ ，因此

$$ \sum_{i = 1}^n \langle x, e_i\rangle e_i \le \|x\|^2 $$

设 $N$ 为标准正交集， $e_1, \dots, e_n \in N$ 两两不等， $\forall x \in X$ ，

$$ \sum_{i = 1}^\infty \langle x, e_i\rangle e_i \le \|x\|^2 $$

称为 Bessel 不等式。

设 $X$ 为内积空间， $x_1, \dots, x_n \in X$ 线性无关，则 $\exists e_1, \dots, e_n$ 为标准正交的，使得 $\text{span }\lbrace x_1, \dots, x_n\rbrace = \text{span }\lbrace e_1 \dots, e_n \rbrace$ 。（Gram-Schmidt 标准正交化方法）。

$$ e_1 = \frac{x_1}{\| x_1\|}\\ v_2 = x_2 - \langle x_2, e_1\rangle e_1, v_2 \perp e_1\\ e_2 = \frac{v_2}{\|v_2\|}, e_2 \perp e_1 $$ $e_1, e_2$ 线性无关，否则，可以推出 $x_1, x_2$ 线性相关，矛盾！要证明 $\text{span }\lbrace x_1, x_2 \rbrace = \text{span }\lbrace e_1, e_2 \rbrace$ ，只需证明 $e_1, e_2 \in \text{span }\lbrace x_1, x_2 \rbrace$ ，且 $x_1, x_2 \in \text{span }\lbrace e_1, e_2 \rbrace$ 。 $$ v_3 = x_3 - \langle x_3, e_2\rangle e_2 - \langle x_3, e_1\rangle e_1, v_3 \perp \lbrace e_1, e_2\rbrace\\ e_3 = \frac{v_3}{\|v_3\|}\\ v_4 = x_4 - \langle x_4, e_3\rangle e_3 - \langle x_4, e_2\rangle e_2 - \langle x_4, e_1\rangle e_1, v_4 \perp \lbrace e_1, e_2, e_3\rbrace\\ e_4 = \frac{v_4}{\|v_4\|}\\ \dots $$

设 $N \subset X$ 为标准正交集， $N$ 可能是不可数的，但是， $\forall x \in X$ ， $N_x = \lbrace e \in N: \langle x, e\rangle \ne 0\rbrace$ 为至多可数的。实际上，记 $N_{x, m} = \lbrace e \in N: |\langle x, e\rangle \ge \frac1m\rbrace$ ，可以证明 $N_{x, m}$ 是有限集。这是因为贝塞尔不等式给上述 $\langle x, e \rangle$ 的平方和一个上界，不可能为无穷大。

定理：设 $H$ 为 Hilbert 空间，则 $H$ 必有完全标准正交集。

一般的证明要用 Zorn 引理。但是如果 $H$ 是可分的，我们可以给出下面的证明：

若 $\dim H \lt \infty$ ，设 $\dim H = n$ 。存在 $x_1, \dots, x_n$ 为 $H$ 的 Hamel 基，即 $x_1, \dots, x_n$ 线性无关且 $\text{span } \lbrace x_1, \dots, x_n\rbrace = H$ 。

存在标准正交的 $e_1, \dots, e_n$ ，使得 $\text{span } \lbrace x_1, \dots, x_n\rbrace = \text{span } \lbrace e_1, \dots, e_n\rbrace$ ，从而 $\overline{\text{span } \lbrace e_1, \dots, e_n\rbrace} = H$ 。

若 $\dim H = \infty$ ，由于 $H$ 是可分空间，存在 $x_1, x_2, \dots, \in H$ ，使得 $\overline{\text{span } \lbrace x_1, \dots, x_n, \dots\rbrace} = H$ 。

我们可以从 $x_1$ 开始逐个挑选 $x_{n_1}, x_{n_2}, \dots$ ，如果 $x_k$ 可以被已经挑选过的 $x_{n_i}$ 线性表出，那么我们就不选它，不能线性表出我们就选。那么我们可以得到 $\overline{\text{span } \lbrace x_{n_1}, \dots, x_{n_k}, \dots\rbrace} = H$ 。

接下来，我们做正交化，对任意 $k \ge 1$ ，

$$ \text{span } \lbrace x_{n_1}, \dots, x_{n_k}\rbrace = \text{span } \lbrace e_1, \dots, e_k \rbrace $$

因此

$$ \text{span } \lbrace x_{n_1}, \dots, x_{n_k}, \dots\rbrace = \text{span } \lbrace e_1, \dots, e_k, \dots \rbrace\\ H = \overline{\text{span } \lbrace x_{n_1}, \dots, x_{n_k}, \dots\rbrace} = \overline{\text{span } \lbrace e_1, \dots, e_k, \dots \rbrace} $$

利用 Zorn 引理，我们可以给出下面的证明：

定理：设 $H$ 为 Hilbert 空间， $N \subset H$ 为标准正交，则 $\exist M$ 为完全标准正交集， $N \subset M$ 。

证明：令

$$ \mathcal E = \lbrace M \subset X: N \subset M, M 标准正交 \rbrace $$

则 $N \in \mathcal E$ , 对于 $M_1, M_2 \in \mathcal E$ ，定义 $M_1 \le M_2 \Leftrightarrow M_1 \subset M_2$ 。 $\forall \mathcal E_1 \subset \mathcal E$ 非空全序，令 $\Omega = \bigcup_{M \in \mathcal E_1} M$ ，则首先有 $N \subset \Omega$ 。接下来证明 $\Omega$ 是标准正交的。 $\forall x, y \in \Omega$ ，存在 $M_1, M_2 \in \mathcal E_1$ ，存在 $M_1, M_2 \in \mathcal E_1$ 使得 $x \in M_1, y \in M_2$ ，不妨设 $M_1 \le M_2$ ，则 $x \in M_2$ ， $M_2$ 中的元素都是标准正交的，因此 $x \perp y$ 。这就说明 $\Omega$ 是标准正交的，因此 $\Omega \in \mathcal E$ 。且 $\forall M \subset \mathcal E_1$ ，都有 $M \le \Omega$ ，说明 $\mathcal E_1$ 有上界，根据 Zorn 引理， $\mathcal E$ 有极大元 $M$ 。 $N \subset M$ ， $M$ 为标准正交的。假设此时 $P = \overline{\text{span } M} \subsetneq H$ ，则 $H = P \oplus P^\perp, P^{\perp} \ne \lbrace 0 \rbrace$ 。

若 $H \ne \lbrace 0 \rbrace$ ，则存在 $x_0 \in H, \|x_0\| = 1$ 。此时 $\lbrace x_0 \rbrace$ 线性无关，则存在 $M$ 为 $H$ 的完全标准正交集， $x_0 \in M$ 。这就证明了任意希尔伯特空间必有完全标准正交集。

引理：设 $H$ 为 Hilbert 空间， $\lbrace e_1, e_2, \dots \rbrace \subset H$ 为标准正交的，则

$\forall \lambda_i \in \mathbb K$ ， $\sum_{i = 1}^\infty\lambda_ie_i$ 收敛的充要条件是 $\sum_{i = 1}^\infty |\lambda_i|^2\lt \infty$ 。
若 $x = \sum_{i = 1}^\infty \lambda_i e_1 \in H$ ，则 $\lambda_i = \langle x, e_i\rangle$ 。
$\forall x \in H$ ， $\sum_{i = 1}^\infty \langle x, e_i \rangle e_i$ 收敛。

证明：① 定义 $S_N = \sum_{i = 1}^N\lambda_ie_i$ ， $s_N = \sum_{i = 1}^N |\lambda_i|^2$ ，下证 $S_N$ 在 $H$ 中收敛等价于 $s_N$ 在 $\R$ 中收敛。

$S_N$ 收敛，等价于 $S_N$ 在 $H$ 中为柯西列，等价于 $$ \forall N^\prime \ge1, \lim_{N\to\infty} \|S_{N^\prime + N} - S_N\|^2 = 0\\ \Leftrightarrow \forall N^\prime \ge1, \lim_{N\to\infty} \|\sum_{i = N+1}^{N^\prime + N} \lambda_ie_i\|^2 = 0\\ \Leftrightarrow \forall N^\prime \ge1, \lim_{N\to\infty} \sum_{i = N+1}^{N^\prime + N} |\lambda_i|^2 = 0\\ \Leftrightarrow \forall N^\prime \ge 1, \lim_{N\to\infty} (s_{N^\prime + N} - s_N) = 0 $$

因此等价于 $s_N\in \R$ 为柯西列，等价于 $s_N$ 在 $\R$ 上收敛。

②

$$ x = \lim_{N\to\infty} \sum_{i = 1}^N \lambda_i e_i\\ \langle x, e_i\rangle = \lim_{N\to\infty} \sum_{i = 1}^N \langle \lambda_i e_i , e_i\rangle = \lambda_i\\ $$

③ 这是显然的，根据 ① 我们只要证明 $\sum_{i = 1}^\infty |\langle x, e_i\rangle|^2$ 收敛，根据 Bessel 不等式，这个东西有上界的，因此肯定收敛。

定义：设 $H$ 为内积空间， $M$ 为 $H$ 的标准正交集，若 $\overline{\text{span }(M)} = H$ ，则称 $M$ 为 $H$ 的标准正交基，也称为 $H$ 的完全标准正交集。

定理： $H$ 为 Hilbert 空间， $N \subset H$ 为标准正交的，则下面 4 个结论等价：

$N$ 为完全的。
$\forall x \in H, x = \sum_{e \in N}\langle x, e\rangle e$ .
$\forall x \in H, \| x \|^2 = \sum_{e\in N} |\langle x, e\rangle|^2$ （Parseval 等式）.
$\forall x, y \in H, \langle x, y\rangle = \sum_{e\in N}\langle x, e\rangle\langle e, y \rangle$ .

假设 1 不成立，则 $\overline{\text{span }N} \subsetneq H \Rightarrow N^\perp \ne \lbrace 0 \rbrace$ ，则 $\forall x \in N^\perp, x\ne 0$ 都有

$$ \langle x, e \rangle = 0, \forall e \in N $$

这就得到了 $N_x = \varnothing$ ， $x$ 和任何 $e \in N$ 内积都等于 0，此时容易验证 2，3,4 都不成立（对于 4，只要取 $x = y$ ）。这就证明了 2 能推出 1， 3 能推出 1，4 能推出 1.

若 $N$ 为完全的，下证 1 -> 2 -> 4 -> 3 成立。

若 1 成立，设 $N$ 为 $H$ 的标准正交基， $\overline{\text{span }N} = H$ ，存在至多可数的 $N_x$ ：

$$ N_x = \lbrace e: \langle x, e\rangle \ne 0\rbrace = \lbrace e_1, e_2, \dots, \rbrace $$

级数 $y = \sum_{i = 1}^\infty \langle x, e_i \rangle e_i$ 收敛。此时

$$ \langle x - y, e_i\rangle = \langle x, e_i \rangle - \sum_{i = 1}^\infty \langle \langle x, e_i \rangle e_i, e_i\rangle = 0 $$

对于 $e \not \in N_x, e \in N$ 我们有

$$ \langle x - y, e \rangle = \langle x, e \rangle - \sum_{i = 1}^\infty \langle \langle x, e_i \rangle e_i, e \rangle = 0 - 0 = 0 $$

因此 $x - y \in N^\perp = (\overline{\text{span }N})^\perp = H^\perp = \lbrace 0\rbrace$ ，因此 $x = y$ 。从而 2 得证。结合起来，1 能推 2，2 能推 1，因此 1 和 2 是等价的。

接下来我们先证明 2 -> 4，然后从 4 显然能推出 3.

我们可以取 $N_x, N_y$ 是可数的，他们的并也是可数的：

$$ N_x \cup N_y = \lbrace e_1, e_2, \dots \rbrace $$

此时

$$ \langle x, y\rangle = \langle \sum_{i = 1}^\infty\langle x, e_i\rangle e_i, \sum_{i = 1}^\infty\langle y, e_i\rangle e_i\rangle = \lim_{n\to\infty} \langle \sum_{i = 1}^n\langle x, e_i\rangle e_i, \sum_{i = 1}^n\langle y, e_i\rangle e_i\rangle \\ = \lim_{n\to\infty}\sum_{i = 1}^n\langle x, e_i\rangle\langle e_i, y\rangle = \sum_{i = 1}^\infty\langle x, e_i\rangle\langle e_i, y\rangle $$

最后，取 $x = y$ ，我们就得到了 Parseval 恒等式，也就是命题 3。我们证明了 2，3，4能推出 1；1 推出 2；2 推出 3；3 推出 4。综上所述，上面的 4 个条件是等价的。

$\mathbb K^n, \ell^2$ 都是完备的，因此可以搞出一组完全标准正交集满足上述性质。但是 $(C[a, b], \|\cdot\|_2)$ 不是完备的，所以上述性质在这种情况下不成立。

Hilbert 空间的对偶空间

问题： $(C[a, b], \|\cdot\|_\infty)^\prime = ?$

设 $X$ 为内积空间， $\forall z \in x$ ， $f_z(x) = \langle x, z\rangle (x \in X)$ ，则 $f_z \in X^*$ ，且 $|f_z(x)| \le \|z\|\|x\|$ ，因此 $f_z \in X^\prime, \|f_z\| \le \|z\|$ ，下面只要证明 $\|f_z\| \ge \|z\|$ 。这是因为若 $z = 0$ ，则结论显然；否则 $\|f_z(z)\| = \|z\|^2$ ，可以得到 $\|f_z\| \ge \|z\|$ 。因此 $\|f\| = \|z\|$

定理（Riesz）： $H$ 为 Hilbert 空间，则 $\forall f \in H^\prime$ ，存在唯一的 $z \in H$ 使得 $f(x) = \langle x, z \rangle$ 。（ $\|f\| = z$ ）。

证明：先证明存在性，若 $f = 0$ ，则取 $z = 0$ 即可。若 $f\ne 0$ ， $N(f) \subsetneq H$ 为 $H$ 的闭线性子空间，因此 $H = N(f) \oplus (N(f))^\perp$ 。

因此 $\exist z_0 \in N(f)^\perp, z_0 \ne 0$ ， $\forall x \in H$ ，

$$ f(f(z_0)x - f(x)z_0) = f(z_0)f(x) - f(x)f(z_0) = 0\\ \Rightarrow f(z_0)x - f(x)z_0 \in N(f)\\ \Rightarrow \langle f(z_0)x - f(x)z_0, z_0 \rangle = 0\\ \Rightarrow f(x) = \langle x, \frac{f(z_0) z_0}{\|z_0\|^2} \rangle $$

因此可以取 $z = f(z_0)z_0 / \|z_0\|^2$ 。

下面证明唯一性：设 $z_1 \in H$ 使得 $f(x) = \langle x, z \rangle = \langle x, z_1 \rangle$ 。可得 $\langle x, z - z_1 \rangle = 0$ ，因此 $z - z_1 \in H^\perp = \{0\}$ ，只能有 $z = z_1$ 。

有人可能会问，这个 $z$ 的选取不是明显依赖于 $z_0$ 的选取吗，为什么说它是唯一的。实际上 $\dim N(f)^\perp = 1$ ，所有的 $z_0$ 都在一条直线上。

定义：称 $\varphi: X \times Y \to \mathbb K$ 为共轭双线性泛函，满足：

$$ \varphi (\lambda_1 x_1 + \lambda_2 x_2, y) = \lambda_1 \varphi (x_1, y) + \lambda_2 \varphi(x_2, y) \varphi (x, \lambda_1 y_1 + \lambda_2 y_2) = \bar \lambda_1 \varphi (x, y_1) +\bar \lambda_2 \varphi(x, y_2) $$

其中 $X, Y$ 为赋范空间。若存在 $C \ge 0$ 使得 $\varphi(x, y) \le C\|x\|\|y\|$ ，则称 $\varphi$ 为有界双线性泛函。令

$$ \|\varphi\| = \sup_{x \ne 0,y\ne 0} \frac{|\varphi(x, y)|}{\|x\|\|y\|} $$ $\|\varphi\| = \sup_{\|x\| \le 1, \|y\| \le 1}{|\varphi(x, y)|} = \sup_{\|x\| = 1, \|y\| = 1}{|\varphi(x, y)|} = \sup_{\|x\| \lt 1, \|y\| \lt 1}{|\varphi(x, y)|}$ 。 $\|\varphi(x, y)\| \le \|\varphi\|\|x\|\|y\|$ 。

假设有 $S \in B(X, Y)$ ， $\varphi(x, y) = \langle Sx, y\rangle$ ，此时有 $|\varphi(x, y)| \le \|Sx\|\|y\| \le \|S\|\|x\|\|y\|$ 。

因此 $\varphi$ 为有界共轭双线性泛函， $\|\varphi\| \le \|S\|$ 。

引理： $X$ 为内积空间， $x_0 \in X$ ，则 $\|x_0\| = \sup_{x \in X, \|x\|=1}|\langle x, x_0 \rangle|$ 。因此

$$ \|S\| = \sup_{x \in X, \|x\|=1} \|Sx\|_Y = \sup_{x \in X, \|x\|=1}\sup_{y \in Y, \|y\| = 1} |\langle y, Sx\rangle| = \sup_{\|x\|=1}\sup_{\|y\| = 1} |\varphi(x, y)| = \|\varphi\| $$

我们得到了一大把有界共轭双线性泛函。假如我们的内积空间还是完备的，我们可以证明所有的有界共轭双线性泛函都可以表示为上面的形式。

定理（Riesz）：设 $H_1, H_2$ 为 Hilbert 空间， $\varphi: H_1 \times H_2 \to \mathbb K$ 为有界共轭双线性泛函，则存在唯一的 $S \in B(H_1, H_2)$ 使得 $\varphi(x, y) = \langle Sx, y \rangle_2$ 。

证明：对固定的 $x \in H_1$ ，考虑线性泛函 $H_2 \to \mathbb K, y \mapsto \overline{\varphi(x, y)}$ 。

$$ |\overline{\varphi(x, y)}| \le \|\varphi\|\|x\|\|y\| $$

根据线性泛函的 Riesz 定理，存在唯一的 $Sx \in H_2$ 使得 $\overline{\varphi(x, y)} = \langle y, Sx\rangle$ ，即 $\varphi(x, y) = \langle Sx, y\rangle$ 。这里的 $S: H_1\to H_2$ 是一个映射，对每个 $x \in H_1$ 都映射到唯一的 $Sx$ 以满足上述的条件。接下来要证明 $S \in B(H_1, H_2)$ 。

$\forall y \in H_2$ ， $x_1, x_2 \in H, \lambda_1, \lambda_2 \in \mathbb K$ ，有 $$ \varphi(\lambda_1 x_1 + \lambda_2 x_2, y) = \langle S(\lambda_1x_1 + \lambda_2x_2), y\rangle = \lambda_1\varphi(x_1, y) + \lambda_2\varphi(x_2, y) = \langle \lambda_1Sx_1 + \lambda_2Sx_2, y\rangle\\ \Rightarrow \langle S(\lambda_1x_1 + \lambda_2x_2) - (\lambda_1Sx_1 + \lambda_2Sx_2), y\rangle = 0 $$

可以取 $y = S(\lambda_1x_1 + \lambda_2x_2) - (\lambda_1Sx_1 + \lambda_2Sx_2)$ 就有 $\|S(\lambda_1x_1 + \lambda_2x_2) - (\lambda_1Sx_1 + \lambda_2Sx_2)\|^2 = 0$ ，因此 $S(\lambda_1x_1 + \lambda_2x_2) = (\lambda_1Sx_1 + \lambda_2Sx_2)$ ，从而 $S$ 是线性的。

$$ \|S\| = \sup_{x \in X, \|x\|=1} \|Sx\|_Y = \sup_{x \in X, \|x\|=1}\sup_{y \in Y, \|y\| = 1} |\langle y, Sx\rangle| = \sup_{\|x\|=1}\sup_{\|y\| = 1} |\varphi(x, y)| = \|\varphi\| \lt \infty $$

因此， $S \in B(H_1, H_2)$ 。

下面证明唯一性：假设 $S_1 \in B(H_1, H_2)$ ，使得 $\varphi(x, y) = \langle Sx, y \rangle = \langle S_1x, y\rangle$ 则有 $\langle Sx - S_1x, y \rangle = 0, \forall x \in H_1, \forall y \in H_2$ ，因此 $Sx = S_1x, \forall x \in H_1$ ，即 $S = S_1$ 。

伴随算子： $H_1, H_2$ 为 Hilbert 空间， $A \in B(H_1, H_2)$ ， $\varphi : H_2, H_1 \to \mathbb K, (y, x) \mapsto \langle y, Ax\rangle$ 为共轭双线性泛函，由于

$$ |\varphi(y, x)| = |\langle y, Ax\rangle_2| \le \|A\|\|x\|\|y\| $$

说明 $\varphi$ 为有界共轭双线性泛函，根据 Riesz 定理有唯一的 $A^* \in B(H_2, H_1)$ 使得 $\varphi(y, x) = \langle A^*y, x\rangle$ 。此时称 $A^*$ 为 $A$ 的伴随算子，有 $\langle Ax, y\rangle = \langle x, A^*y\rangle$ 。

如果 $A = A^*$ ，称 $A$ 为自伴算子。

例子： $H_1 = H_2 = \mathbb K^n$ ， $\langle (x_1, \dots, x_n)^t, (y_1, \dots, y_n)^t \rangle = \sum_{i = 1}^n x_i\bar y_i = x^t\bar y$ 。此时 $(Ax)^t\bar y = x^tA^t\bar y = x^t \overline{A^* y}$ ，因此 $A^t\bar y = \overline{A^*y}$ ，从而 $A^*y = (\bar A)^ty$ ，即 $A^* = (\bar A)^t$ ，伴随算子和原来的算子是取共轭转置的关系。

伴随算子的性质： $H_1, H_2$ 为 Hilbert 空间。

$A_1, A_2 \in B(H_1, H_2)$ ， $\lambda_1, \lambda_2 \in \mathbb K$ 。则 $(\lambda_1 A_1 + \lambda_2 A_2)^* = \bar \lambda_1 A_1^* + \bar \lambda_2 A_2^*$ 。
$A \in B(H_1, H_2)$ ， $A^* \in B(H_2, H_1)$ ，则 $A^{**} = A$ 。
$\forall A \in B(H_1, H_2)$ ，则 $\|AA^*\| = \|A^*A\| = \|A\|^2$ 。实际上， $\|A\| = \|A^*\|$ 。
$A = 0 \Leftrightarrow A^*A = 0$ 。
$A\in B(H_1, H_2), B \in B(H_2, H_3)$ ， $(BA)^* = A^*B^*$ 。

设 $H_1, H_2$ 为 Hilbert 空间，若存在 $T: H_1 \to H_2$ 为线性双射， $\|Tx\|_2 = \|x\|_1$ ，则称 $H_1, H_2$ 为等距同构。此时称 $T$ 为酉算子。

此时有（利用极化恒等式）

$$ \langle Tx, Ty \rangle_2 = \langle x, y \rangle_1 $$

定理：设 $H_1, H_2$ 为 Hilbert 空间， $T: H_1 \to H_2$ 为线性双射，则 $T$ 为酉算子当且仅当 $T^*T = I_{H_1}, TT^* = I_{H_2}$ 。

必要性：若 $T$ 为酉算子，则

$$ \langle Tx, Ty \rangle = \langle T^*Tx, y \rangle = \langle x, y\rangle\\ \Rightarrow \langle (T^*T - I_{H_1})x, y\rangle = 0 $$

因此 $T^*T = I_{H_1}$ ， $T$ 为双射所以 $T^* = T^{-1}$ 。因此 $TT^* = TT^{-1} = I_{H_2}$ 。

充分性：若 $T^*T = I_{H_1}, TT^* = I_{H_2}$ ，则

$$ \langle Tx, Ty\rangle = \langle T^*Tx, y \rangle = \langle x, y\rangle $$

因此 $T$ 为酉算子。

赋范空间中的基本定理

Hahn-Banach 定理

$X \ne \varnothing$ ，设 $X$ 某些元素之间有 " $\le$ "：

$\forall x \in X, x \le x$
若 $x \le y$ 且 $y \le x$ ，则 $x = y$ 。
$x \le y$ 且 $y \le z$ ，则 $x \le z$ 。

称为偏序/半序， $X$ 称为半序集。

例子： $\Omega \ne \varnothing$ ， $X$ 为 $\Omega$ 的所有子集，定义 $\forall A, B \in X, A\le B \Leftrightarrow A \subseteq B$ 。

定义： $X$ 为半序集， $Y \subset X$ ， $a \in X$ 为 $Y$ 的上界，若 $\forall y \in Y$ 有 $y \le a$ ； $b \in Y$ 为极大元，若 $y \in Y, b \le y \Rightarrow y = b$ 。

Zorn 引理： $X$ 为非空半序集，若 $X$ 的任意非空全序子集均有上界，则 $X$ 必有极大元。

定义： $X$ 为实线性空间， $p: X\to \R$ 为次线性泛函，若

$p(x + y) \le p(x) + p(y)$ 。（三角不等式）
$\forall x \in X, a \ge 0, p(ax) = ap(x)$ 。

实线性空间的 Hahn-Banach 定理：设 $X$ 为实线性空间， $X_0$ 为 $X$ 的线性子空间， $p: X\to \R$ 为次线性泛函， $f_0 \in X_0^*$ 为 $X_0$ 上的线性泛函，且 $\forall x \in X_0, f_0(x) \le p(x)$ ，则存在 $f \in X^*$ 使得 $f|_{X_0} = f_0$ ，且 $\forall x \in X, f(x) \le p(x)$ 。

复线性空间的引理：设 $X$ 为复线性空间， $f \in X^*$ ，则 $\text{Re }f \in X_R^*$ ，且任取 $x \in X$ 都有 $\text{Im }f(x) = -\text{Re} f(ix)$ 。反之，任给 $f_1 \in X_R^*$ ，若取 $f(x) = f_1(x) - if_1(ix)$ ，则 $f \in X^*$ 。

首先定义半范。设 $X$ 为线性空间， $X$ 上的函数，

$$ p: X \to \R $$

称为 $X$ 上的半范数，简称半范，若

$\forall x \in X$ ， $p(x) \ge 0$ ；
$\forall x, y \in X$ ， $p(x + y) \le p(x) + p(y)$ ；
$\forall x \in X, a \in \mathbb K$ ， $p(ax) = |a|p(x)$ 。

定理（Hahn-Banach）：设 $X$ 为线性空间， $P: X\to\R$ 为半范， $X_0$ 为 $X$ 的线性子空间， $f_0 \in X_0^*$ ， $\forall x \in X_0$ ， $|f_0(x)| |\le p(x)|$ ，则存在 $f \in X^*$ ， $f|_{X_0} = f_0$ ，使得 $\forall x \in X$ ，有 $|f(x)| \le p(x)$ 。

在赋范空间里，我们有下述的有界线性泛函的保范延拓定理。

定理（Hahn-Banach）：设 $X$ 为赋范空间， $X_0$ 为 $X$ 的线性子空间， $f_0 \in X_0^\prime$ ，则存在 $f \in X^\prime$ ， $f|_{X_0} = f_0$ ，且 $\|f\| = \|f_0\|$ 。

证明： $\forall x \in X$ ，令 $p(x) = \|f_0\|\|x\|$ 为半范， $\forall x \in X_0$ ，都有 $|f_0(x)| \le \|f_0\|\|x\| = p(x)$ 。因此存在 $f \in X^*$ 使得 $f_{X_0} = f_0$ ， $\forall x \in X$ ， $|f(x)| \le p(x) = \|f_0\|\|x\|$ ，因此 $f \in X^\prime$ ，且 $\|f\| \le \|f_0\| \le \|f\|$ 。

由上述定理推出（Hahn-Banach）：对于赋范空间 $X\ne \lbrace 0\rbrace$ ， $x_0\in X, x_0 \ne 0$ ，存在 $f \in X^\prime$ ，满足 $\|f\| = 1$ ， $f(x_0) = \|x_0\|$ 。

进而推出：

$$ \|x_0\| = \max_{f\in X^\prime, \|f\| \le 1} |f(x_0)| = \max_{f\in X^\prime, \|f\| = 1} |f(x_0)| = \max_{f \in X^\prime} \frac{|f(x_0)|}{\|f\|} $$

设 $X$ 为赋范空间， $x \in X$ ， $g_x(f) = f(x), (f \in X^\prime)$ ，其中 $g_x: X^\prime \to \mathbb K$ 映射是线性泛函。 $\forall f_1, f_2 \in X^\prime$ ， $\lambda_1, \lambda_2 \in \mathbb K$ 使得

$$ g_x(\lambda_1 f_1 + \lambda_2 f_2) = (\lambda_1 f_1 + \lambda_2 f_2)(x) = \\ \lambda_1 f_1(x) + \lambda_2 f_2(x) = \lambda_1g_x(f_1) + \lambda_2 g_x(f_2) $$

即 $g_x \in (X^\prime)^*$ 。另一方面， $\|g_x(f)\| = \|f(x)\| \le \|x\|\|f\|$ ，因此 $g_x \in X^{\prime\prime}$ 。另一方面， $\|g_x\| = \sup_{f\in X^\prime, \|f\| \le 1} |g_x(f)| = \sup_{f\in X^\prime, \|f\| \le 1} |f(x)| = \|x\|$ 。我们可以定义

$$ C: X \to X^{\prime\prime}\\ x\mapsto g_x $$

称为典范映射，这个映射是保范的。并且 $\forall \lambda_1, \lambda_2 \in \mathbb K, x_1, x_2 \in X$ ，都有

$$ g_{\lambda_1x_1 + \lambda_2x_2}(f) = f(\lambda_1x_1 + \lambda_2x_2)\\ = \lambda_1f(x_1) + \lambda_2f(x_2)\\ = (\lambda_1g_{x_1} + \lambda_2g_{x_2})(f) $$

因此， $C$ 是一个线性保范映射， $\forall x \in N(C)$ ，则 $g_x = 0$ ， $\forall f \in X^\prime, f(x) = 0$ ，推出 $x = 0$ ，说明 $N(C) = \{0\}$ ，因此 $C$ 还是单射。（实际上此时 $\|g_x\| = 0 = \|x\|$ 可证）从而 $X$ 和 $C(X)$ 等距同构， $X$ 是 $X^{\prime\prime}$ 的子空间，而后者是完备的空间（所有的对偶空间都是完备空间，因为 $X^\prime = B(X, \mathbb K)$ ，而 $\mathbb K$ 是完备的），一般性质更好，我们可以先把一个元素映射到 $X^{\prime\prime}$ 更方便地分析它。

如果 $C: X \to X^{\prime\prime}$ 为满射，称 $X$ 为自反的。这等价于

$$ \forall F \in X^{\prime\prime}, \exist x \in X, s.t. g_x = F $$

等价于

$$ \forall F \in X^{\prime\prime}, \exist x \in X, s.t. F(f) = f(x), \forall f \in X^{\prime} $$

若 $X$ 为自反的，则 $X$ 和 $X^{\prime\prime}$ 为等距同构的，则 $X$ 为 Banach 空间。

这三个条件是逐渐变弱的，自反能推出等距同构，但是等距同构不能推出自反。之前理解错了。

例子：若 $H$ 为 Hilbert 空间，则 $H$ 必为自反的。

证明：对任意 $\forall f \in H^\prime, \exist ! x_0 \in H$ ， $f(x) = \langle x, x_0 \rangle$ （Riesz）。则能构造这样的映射：

$$ A: H^\prime \to H,\\ f \mapsto Af = x_0 $$ $A$ 是共轭线性的： $$ \langle x, A(\lambda_1 f_1 + \lambda_2f_2)\rangle = (\lambda_1 f_1 + \lambda_2f_2)(x)\\ = \lambda_1 f_1(x) + \lambda_2 f_2(x) \\ = \lambda_1 \langle x, Af_1\rangle + \lambda_2 \langle x, Af_2\rangle\\ = \langle x, \bar \lambda_1 Af_1 + \bar \lambda_2 Af_2\rangle\\ \Rightarrow A(\lambda_1 f_1 + \lambda_2f_2) = \bar \lambda_1 Af_1 + \bar \lambda_2 Af_2 $$ $\forall f_1, f_2 \in H^\prime$ ，定义内积 $$ \langle f_1, f_2 \rangle = \langle Af_2, Af_1 \rangle $$

这个内积满足：

$$ \langle \lambda_1 g_1 + \lambda_2 g_2, g \rangle = \lambda_1 \langle g_1, g\rangle + \lambda_2 \langle g_2, g\rangle\\ \langle f_1, f_2 \rangle = \overline{\langle f_2, f_1 \rangle}\\ \langle f, f \rangle \ge 0\\ \langle f, f \rangle = 0 \Leftrightarrow f = 0 $$ $H^{\prime}$ 定义的内积导出的范数 $$ \|f\| = \langle f, f \rangle^{1/2} = \langle Af, Af \rangle^{1/2} = \|Af\| $$

因此 $H^{\prime}$ 为 Hilbert 空间，从而 $\forall F \in H^{\prime\prime}$ ，存在 $f_0 \in H^\prime$ 使得 $F(f) = \langle f, f_0\rangle = \langle Af_0, Af\rangle = f(Af_0), \forall f \in H^\prime$ ，因此 $H$ 是自反的。

例子： $1 \lt p \lt \infty$ ， $\ell^p$ 是自反的。首先，我们知道 $(\ell^p)^\prime = \ell^q$ ， $\forall f \in (\ell^p)^\prime$ 存在唯一的 $x = (x_n)_{n \ge 1} \in \ell^q$ 使得 $f(y) = \sum_{n = 1}^\infty x_n y_n, \forall y \in \ell^p$ ，满足 $\|f\| = \|x\|_q$ 。我们可以定义 $\varphi: \ell_q \to (\ell^p)^\prime, x \mapsto f$ ，则 $F \circ \varphi \in (\ell^q)^\prime$ 。 $\forall F \in (\ell_q)^\prime$ ，存在唯一的 $y \in \ell^p$ 使得对任意 $x \in \ell_q$ 都有 $F\circ\varphi (x) = \sum_{n = 1}^\infty x_ny_n = F(f)$ ，根据映射 $\varphi$ 的定义，有 $f(y) = \sum_{n = 1}^\infty x_ny_n$ ，因此 $\ell_p$ 是自反的。

注意！这里不能用 $(\ell^p)^{\prime\prime} \approx \ell^p$ 来证明他是自反的。自反固然有 $X^{\prime\prime}\approx X$ ，但是自反还要求典范映射必须是满射， $X^{\prime\prime}\approx X$ 说明存在一个从 $X$ 到 $X^{\prime\prime}$ 的双射，但是并没有说典范映射是双射。

例子：设 $X$ 为有限维赋范空间，则 $X$ 必然自反。

证明： $\dim X = n \lt \infty$ ，则 $\dim X^\prime = n$ 。（取一组基 $e_1, e_2, \dots, e_n$ ，则可以找到它的对偶基 $\varphi_1, \varphi_2, \dots, \varphi_n$ 使得 $\varphi_i(\sum_{k = 1}^\infty\lambda_ke_k) = \lambda_i$ ）。因此 $\dim X^{\prime\prime} = n$ 。另一方面， $\dim C(X) = n$ ，因此 $C$ 是满射， $C$ 本来就是单射，从而 $C(X) = X^{\prime}$ 。

例子： $c_0, \ell_1, \ell_\infty$ 不是自反的。 $(C[a, b], \|\cdot\|_\infty)$ 不自反。

定理（Hahn-Banach）：设 $X$ 为赋范空间， $Y$ 为 $X$ 的闭线性子空间， $Y \subsetneq X, x_0 \in X\setminus Y$ ， $\delta = \rho(x_0, Y) = \inf_{y \in Y} \|x_0 - y\|$ ，则存在 $f \in X^{\prime}$ ， $\|f\| = 1$ ， $f|_Y = 0$ ， $f(x_0) = \delta$ 。

推论：若 $X$ 为赋范空间，设 $X^{\prime}$ 为可分的，则 $X$ 必为可分的。

先证明引理： $(X, d)$ 为可分的， $Y \subset X$ ，则 $Y$ 必为可分的。

证明： $\forall x_1, x_2, \dots \in X$ ， $\overline\{x_1, x_2, \dots\} = X$ ， $\forall i, j \ge 1$ ，若 $B(x_i, \frac1j) \cap Y \ne \varnothing$ ，取 $y_{ij} \in B(x_i, \frac1j) \cap Y$ 。这样的 $y_{ij}$ 构成的集合是稠密的，因为 $\forall y \in Y$ ， $\varepsilon \gt 0$ ，存在 $j \in \N, \frac2j \lt \varepsilon$ ，使得 $B(y, \frac1j) \cap \{x_1, x_2, \dots\} \ne \varnothing$ ，存在 $i \ge 1$ ，使得 $x_i \in B(y, \frac1j), y \in B(x_i, \frac1j)$ ，因此 $y \in B(x_i, \frac1j) \cap Y$ ，此时 $d(y, y_{ij}) \lt \frac2j \lt \varepsilon$ ，得证。

证明推论： $X^\prime$ 可分，定义 $S = \{f \in X^\prime: \|f\| = 1\}$ ，则 $S$ 必定可分。

设 $f_1, f_2, \dots \in S, \overline{\{f_1, f_2, \dots \}} = S$ ， $\forall i \ge 1, \|f_i\| = 1 = \sup_{x \in X, \|x\| = 1}|f_i(x)|$ ， $\exist x_i \in X$ ，使得 $\|x_i\| = 1, |f_i(x_i)| \ge \frac12, Y = \overline{\text{span }\{x_1, x_2, \dots\}}$ ，下证 $Y = X$ 。

若不对，则 $Y \subsetneq X$ ，存在 $f \in X^\prime, \|f\| = 1$ 即 $f \in S, f|_Y = 0, \forall i \ge 1$ ，使得

$$ \frac12 \le |f_i(x_i)| = |f_i(x_i) - f(x_i)| = |(f_i - f)x_i| \le \|f_i - f\| $$

这就说明 $f\not\in \overline{\{f_1, f_2, \dots \}} = S$ ，矛盾。因此 $Y = X$ 。

下面证明 $Y$ 可分。当 $\mathbb K = \R$ 时可以取 $M_n = \{\sum_{i = 1}^n \lambda_ix_i: n \ge 1, \lambda_i \in \mathbb Q\}$ ， $M = \cup_{n = 1}^\infty M_n$ ，则存在映射 $T: \mathbb Q^n \to M_n, (\lambda_1, \dots, \lambda_n)\mapsto \sum_{i = 1}^n \lambda_ix_i$ ，这是一个满射，因此 $M_n$ 为可数集，因此 $M$ 可数。下面只要证明 $\bar M = Y$ 。 $\forall x \in X, \varepsilon \gt 0$ ，存在 $y \in \text{span }\{x_1, x_2, \dots\}$ ， $\|x - y\| \lt \varepsilon / 2$ ， $y = \sum_{i = 1}^n \lambda_ix_i, \lambda_i \in R$ ，存在 $\mu_i \in \mathbb Q$ ，使得 $\|\sum_{i = 1}^n \lambda_ix_i - \sum_{i = 1}^n \mu_ix_i\| \lt \varepsilon / 2$ ，因此 $\|x - \sum_{i = 1}^n \mu_ix_i\| \lt \varepsilon$ 。这就证明了 $\bar M = Y$ ，因此 $Y$ 是可分的。

根据上面的推论，如 $\ell^1$ 是自反的，则 $(\ell^1)^{\prime\prime} \approx \ell^1$ 是可分的，因此 $(\ell^\infty)^{\prime} \approx \ell^1$ 是可分的，矛盾！因此 $\ell^1$ 不是自反的。

如果 $c_0$ 是自反的，则 $(c_0)^{\prime\prime} \approx (\ell^1)^\prime \approx \ell^\infty \approx c_0$ ，但是 $\ell^\infty$ 是不可分的， $c_0$ 是可分的，这两个并不同构，矛盾！因此 $c_0$ 不是自反的。

$\ell^\infty$ 也不是自反的，要用到下面的结论：

结论：若 $X$ 为 Banach 空间，则 $X$ 自反等价于 $X^\prime$ 自反。这个结论证明较为复杂。

例子： $a \lt b, X = C[a, b]$ ，证明 $(C[a, b], \|\cdot\|_{\infty})$ 不自反。

由于 $C[a, b]$ 为可分的，假设 $C[a, b]$ 是自反的， $(C[a, b])^{\prime\prime} = (C[a, b]^\prime)^\prime = C[a, b]$ ，说明 $C[a, b]^\prime$ 是可分的，下面证明 $C[a, b]^\prime$ 不可分即可。

接下来，考虑 $N = \{\delta_t: a \le t \le b\} \subset C[a, b]^\prime$ ，是不可数的，因为 $\varphi: [a, b] \to N, t \mapsto \delta_t$ 是一个双射。

设存在某个 $M \subset C[a, b]^\prime, \bar M = C[a, b]$ ， $\forall a \le t \le b, \delta_t \in N$ ， $\exist x_t \in M$ 使得

$$ \|\delta_t - x_t\| \lt \frac12 $$

$C[a, b]$ 为啥是可分的？

现在要来回答这个问题： $(C[a, b], \|\cdot\|_\infty)^\prime = ?$

定义 $\omega: [a, b]\to \mathbb K$ 为有界变差函数，若存在 $c \ge 0$ ， $\forall a = t_0\lt t_1 \lt t_2 \lt \dots \lt t_n = b$ ，

$$ \sum_{i = 0}^{n - 1}|w(t_{i+1}) - w(t_i)| \le c $$

称 $\omega \in BV[a, b]$ 。定义

$$ Var_{[a, b]}(\omega) = \sup \sum_{i = 0}^{n - 1}|w(t_{i+1}) - w(t_i)| $$

范数

$$ \|w\|_{BV} = Var_{[a, b]}(\omega) + |w(a)| $$

则 $(BV[a, b], \|\cdot\|_{BV})$ 为 Banach 空间。

$\forall x \in C[a, b], \omega \in BV[a, b], \mathcal P: a = t_0 \lt t_1 \lt \dots \lt t_n = b$ ，则 $$ S(x, \omega, \mathcal P) = \sum_{i = 0}^{n - 1} x(t_i)(w(t_{i + 1}) - w(t_i)) $$

则当 $\#(\mathcal P) \to 0$ ， $S(x, \omega, \mathcal P)$ 收敛到 $\int_a^bx(t)\mathrm d\omega(t)$ ，称为黎曼-斯蒂杰积分。

$$ |S(x, \omega, \mathcal P)| \le \sum_{i = 0}^{n - 1} |x(t_i)||w(t_{i + 1}) - w(t_i)| \le Var_{[a, b]}(\omega) \|x\|_\infty $$

可以证明它的线性性：

$$ \int_a^b(\lambda x + \mu y)(t)\mathrm d\omega(t) = \lambda \int_a^bx(t)\mathrm d\omega(t) + \mu \int_a^by(t)\mathrm d\omega(t) \\ \int_a^bx(t)\mathrm d(\lambda \omega_1 + \mu\omega_2) = \lambda \int_a^bx(t)\mathrm d\omega_1(t) + \mu \int_a^by(t)\mathrm d\omega_2(t) $$

对于所有的 $\omega \in BV[a, b]$ ，定义 $\varphi_\omega: C[a, b]\to \mathbb K, x \mapsto \int_a^b x(t)\mathrm d\omega(t), \|\varphi_\omega\|\le Var_{[a, b]}(\omega)$ 。

定理： $\forall \varphi \in C[a, b]^\prime$ ，则 $\exist! \omega \in BV[a, b], \varphi = \varphi_\omega, \omega(a) = 0$ ，使得 $\varphi(x) = \int_a^b x(t)\mathrm d\omega(t)$ ，且 $\|\varphi\| = Var_{[a, b]}(\omega)$ 。

证明： $B[a, b]$ 为 $[a, b]$ 上的有界函数， $\|x\| = \sup_{a \le t \le b}|x(t)|$ ， $(B[a, b], \|\cdot\|)$ 为 Banach 空间。

$C[a, b] \subset B[a, b]$ ，由 Hahn-Banach 定理，存在 $\varphi_0 \in B[a, b]^\prime$ ， $\varphi_0|_{C[a, b]} = \varphi$ ， $\|\varphi_0\| = \|\varphi\|$ 。 $\forall a \lt t \le b$ ，定义 $$ \eta_t(s) = \begin{cases} 1, a \le s \le t,\\ 0, t \lt s \le b \end{cases} $$

则 $\eta_t(s) \in B[a, b]$

取 $\omega$ 使得 $\omega(a) = 0, \forall a \lt t \le b, \omega(t) = \varphi_0(\eta_t)$ 。下证 $\omega \in BV[a, b]$ 。设 $\mathcal P: a = t_0 \lt t_1 \lt \dots \lt t_n = b$ ，…，因此 $\omega \in BV[a, b]$ 。

$z_x = x(a)\eta_{t_1} + \sum_{i = 1}^{n - 1}x(t_i)(\eta_{t_{i+1}} - \eta_{t_{i}})$ 。可以证明 $\varphi_0(z_x) = S(x, \omega, \mathcal P)$ ，当 $\#P \to 0$ 时， $\int_a^bx(t)\mathrm d\omega(t) \to \varphi_0(x) = \varphi(x)$ 。

一致有界性定理

又称为共鸣定理，Banach-Steinhauss 定理。

设 $(X, d)$ 为度量空间， $M \subset X$ 为无处稠密，若 $\bar M$ 无内点。

$M$ 为第一范畴（第一纲），若 $\exist M_n \subset X$ 为无处稠密的，使得 $M = \bigcup_{n = 1}^\infty M_n$ ，若 $M$ 不为第一范畴的，则称 $M$ 为第二范畴。

例子： $X = \R$ ， $d(s, t) = |s - t|$ ， $M = \Z, \bar M = \Z$ 无内点，因此 $M$ 是无处稠密的。

定理（Baire 范畴定理）：设 $(X, d)$ 为非空完备度量空间，则 $X$ 必为第二范畴的。

例子： $X = \Z$ ，是第二范畴的。

证明：反证法，假设 $X$ 是第一范畴的，设 $\exist M_n \subset X$ 无处稠密， $X = \bigcup_{n=1}^\infty M_n$ （ $\bar M_n$ 无内点），而 $M_n \subset \bar M_n \subset X$ ，因此 $X = \bigcup_{n=1}^\infty \bar M_n$ 。因此，不妨设 $X = \bigcup_{n=1}^\infty M_n$ ，其中 $M_n$ 是闭且无内点的。

由于 $X \ne \varnothing$ ， $X$ 有内点，而 $M_1$ 无内点，因此 $M_1 \subsetneq X$ ，说明 $X \setminus M_1 \ne \varnothing$ ，由于 $M_1$ 是闭集，因此 $X \setminus M_1$ 是开集，存在 $p_1 \in X \setminus M_1$ ，存在 $\varepsilon \lt \frac12$ 使得 $B(p_1, \varepsilon_1) \subset X \setminus M_1$ ，因此 $B(p_1, \varepsilon_1) \cap M_1 = \varnothing$ 。

接下来要构造一系列的，逐个包含的开球。由于 $M_2$ 无内点，因此 $M_2$ 不可能完全包含 $B(p_1, \frac{\varepsilon_1}{2})$ ，也即 $M_2^c \cap B(p_1, \frac{\varepsilon_1}{2}) \ne \varnothing$ 。存在 $p_2, \varepsilon_2 \lt 1/2^2$ ，使得 $B(p_2, \varepsilon_2) \subset M_2^c \cap B(p_1, \frac{\varepsilon_1}{2})$ 。此时 $B(p_2, \varepsilon_2) \cup M_1 \ne \varnothing, B(p_2, \varepsilon_2) \cup M_2 \ne \varnothing$ 。

$M_3$ 无内点，基于同样的理由 $M_3^c \cap B(p_2, \frac{\varepsilon_2}{2}) \ne \varnothing$ ，存在 $p_3, \varepsilon_3 \lt \frac1{2^3}$ ，使得 $B(p_3, \varepsilon_3) \subset M_3^c \cap B(p_2, \frac{\varepsilon_2}{2})$ ，此时 $B(p_3, \varepsilon_3) \cup M_1 \ne \varnothing, B(p_3, \varepsilon_3) \cup M_2 \ne \varnothing, B(p_3, \varepsilon_3) \cup M_3 \ne \varnothing$ 。

如此下去，存在 $p_n \in X, \varepsilon_n \lt \frac1{2^n}$ ，使得

$$ B(p_n, \varepsilon_n) \subset M_n^c \cap B(p_{n-1}, \frac{\varepsilon_{n-1}}{2})\\ B(p_n, \varepsilon_n) \cap M_i = \varnothing, 1 \le i \le n $$

因此， $\forall m \ge 1$ ，都有 $p_{n + m} \subset B(p_n, \frac{\varepsilon_n}{2})$ ，因此 $d(p_{m + n}, p_n) \lt 1/2^{n+1}$ ，这说明 $p_n \in X$ 为柯西列，根据完备性， $p_n \to p \in X$ ，此时 $p \subset \overline{B(p_n, \frac{\varepsilon_n}{2})}\subset B(p_n, \varepsilon_n)$ ，因此 $p \not\in M_n$ ，从而 $p \not\in \bigcup_{n=1}^\infty M_n = X$ ，矛盾！这说明 $X$ 是第二范畴的。

定理（一致有界性原理）：设 $X$ 为 Banach 空间， $Y$ 为赋范空间，设 $\mathcal E \subset B(X, Y)$ ， $\forall x \in X$ ，存在 $c_x \ge 0$ 使得 $\forall T \in \mathcal E, \|Tx\| \le c_x$ （点点有界），则 $\exist c \ge 0$ ， $\forall T \in \mathcal E, \|T\| \le c$ ，即 $\mathcal E$ 在 $\bar B_X(0, 1)$ 上一致有界。

证明： $n \ge 1$ ， $A_n = \{ x \in X: \forall T \in \mathcal E, \|Tx\| \le n\}$ ， $\forall x \in X$ ，存在 $c_x \ge 0$ ，使得 $\forall T \in \mathcal E, \|Tx\| \le c_x$ ，若 $c_x \le n$ ，则 $x \in A_n$ ， $X \subset \bigcup_{n = 1}^\infty A_n$ ，因此 $X = \bigcup_{n = 1}^\infty A_n$ 。因为 $X$ 是非空完备的，因此 $X$ 必为第二范畴，因此存在 $n \ge 1$ 使得 $\bar A_n$ 有内点。

$\forall x_k \in A_n$ ，设 $x_k \to x$ ，则 $\|Tx_k\| \to \|Tx\|$ ，因此 $x \in A_n$ ，说明 $A_n$ 是闭集，因此 $A_n$ 有内点，存在 $x_0 \in X$ ， $\exist r \gt 0$ ，使得 $B(x_0, r) \subset A_n$ ， $\forall x \in X, \|x\| \le 1$ ，都有 $\|\frac r2x \| \le \frac r2 \lt r$ 。因此 $x_0, x_0 + \frac{r}2 x \in B(x_0, r)$ ，从而 $\forall T \in \mathcal E, \|Tx_0\| \le n, \|T(x_0 + \frac r2x)\|\le n$ ，因此 $$ \|\frac r2 Tx\| \le \|T(x_0 + \frac r2 x)\| + \|Tx_0\| \le 2n $$

这就说明 $\|Tx\| \le \frac {4n}r$ ，说明 $\|T\| \le \frac{4n}r$ ，因此存在这样的常数 $C = \frac{4n}r$ 使得 $\forall T \in \mathcal E, \|T\| \le C$ 。

逆否命题：若 $\mathcal E \subset B(X, Y)$ ， $\sup_{T\in \varepsilon} \|T\| = +\infty$ ，则 $\exist x \in X$ 使得 $\sup_{T\in \mathcal E}\|Tx\| = +\infty$ 。

上述 $x$ 称为 $\mathcal E$ 的共鸣点。

一致有界性定理要求每个算子有界，且所有算子逐点有界，然后能推出一致有界。有界和逐点有界不存在强弱关系，不能互相推出，只有这两个条件同时满足，才足够推出一致有界。

例子： $X$ 为所有多项式， $p \in X$ ， $p(t) = a_0 + a_1t + \dots + a_nt^n$ ，定义 $\|p\| = \max_{0 \le i \le n}|a_i|$ ，则 $(X, \|\cdot\|)$ 为赋范空间，此时定义泛函 $\phi_m(p) = a_0 + a_1 + \dots + a_m$ ， $\phi_m \in X^*$ ，则 $|\varphi_m(p)| \le (m+1)\|p\|$ ，说明 $\varphi_m \in X^\prime$ ， $\|\varphi_m\| = m+1$ 。

$$ p_n(t) = 1 + \frac12 t + \frac13 t^2 + \dots + \frac{1}{n+1}t^n $$ $$ \|p_{n + m} - p_n\| = \frac{1}{n + 2} \to 0 $$

说明 $p_n$ 为柯西列，但是若设 $p_n \to p \in X$ ，使得 $p(t) = a_0 + a_1t + \dots + a_nt^N$ ，但是 $\forall n \gt N$ ， $\|p_n - p\| \ge \frac{1}{N+2}$ ，矛盾！因此这个序列不收敛。

例子： $C[0, 2\pi] = \{f: [0, 2\pi] \to \R, f 连续\}$ , $\|f\|_\infty = \max_{0 \le t \le 2\pi}|f(t)|$ ，为 Banach 空间。

$X = C_{per}[0, 2\pi] = \{f \in C[0, 2\pi]: f(0) = f(2\pi)\}$ ， $X$ 为 $C[0, 2\pi]$ 上的闭线性子空间，因为 $f_n \in X, f_n \to f$ 必有 $f(0) = f(2\pi)$ ，从而 $f \in X = C_{per}[0, 2\pi]$ 。可以定义 $$ a_m(f) = \frac1\pi\int_0^{2\pi}f(t)\sin (mt)\mathrm dt\\ b_m(f) = \frac1\pi\int_0^{2\pi}f(t)\cos (mt)\mathrm dt\\ b_0(f) = \frac1{2\pi}\int_0^{2\pi}f(t)\mathrm dt\\ $$

定义

$$ \begin{aligned} \varphi_N(f) &= \sum_{m = 0}^Nb_m(f)\\ &= \frac1{2\pi}\int_{0}^{2\pi}f(t)\mathrm dt + \frac1\pi\sum_{m = 1}^N\int_{0}^{2\pi}f(t)\cos(mt)\mathrm dt\\ &= \frac1{2\pi}\int_{0}^{2\pi}f(t)\left(1 + 2\sum_{m = 1}^N\int_{0}^{2\pi}f(t)\cos(mt)\right)\mathrm dt\\ &= \frac1{2\pi}\int_{0}^{2\pi}f(t)\frac{\sin(N + \frac12)t}{\sin\frac12t}\mathrm dt\\ &= \int_{0}^{2\pi}f(t)Q_N(t)\mathrm dt, Q_N = \frac1{2\pi}\frac{\sin(N + \frac12)t}{\sin\frac12t}\\ \end{aligned} $$

则 $\varphi_N \in X^*$ ，另一方面

$$ |\varphi_N(f)| \le \int_0^{2\pi}|Q_N(t)||f(t)| \mathrm dt \le \int_0^{2\pi} |Q_N(t)|\mathrm dt \|f\|_\infty $$

因此 $\varphi_N \in X^\prime, \|\varphi_N\| \le \int_0^{2\pi}|Q_N(t)|\mathrm dt$

此时

$$ \int_0^{2\pi} |Q_N(t)|\mathrm dt = \int_0^{2\pi} Q_N(t)\varepsilon_N(t)\mathrm dt $$

存在 $w_N \in C_{per}[0, 2\pi]$ 使得

$$ |\int_0^{2\pi} Q_N(t)(\varepsilon_N(t) - w_N(t))\mathrm dt| \lt \varepsilon $$

其中 $w_N(t) \in [-1, 1], \|w_N\|_\infty \le 1$ 。

此时

$$ \varphi_N(w_N) = \int_0^{2\pi} Q_N(t)w_N(t)\mathrm dt \\ \gt \int_0^{2\pi} Q_N(t)\varepsilon_N(t)\mathrm dt - \varepsilon \\ = \int_0^{2\pi} |Q_N(t)|\mathrm dt - \varepsilon $$

因此 $\|\varphi_N\| \ge \int_0^{2\pi} |Q_N(t)|\mathrm dt$ ，综合起来可以得到

$$ \|\varphi_N\| = \int_0^{2\pi} |Q_N(t)|\mathrm dt \\ = \frac1{2\pi}\int_0^{2\pi} \left|\frac{\sin(N + \frac12)t}{\sin\frac12t}\right|\mathrm dt \\ \ge \frac1{\pi}\int_0^{2\pi} \left|\frac{\sin(N + \frac12)t}{(N + \frac12)t}\right|\mathrm d\left(N + \frac12\right)t \\ = \frac{1}{\pi}\int_0^{2N\pi + \pi}\frac{|\sin S|}{|S|} \mathrm dS\\ = \frac{1}{\pi}\sum_{k = 0}^{2N}\int_{k\pi}^{(k+1)\pi}\frac{|\sin S|}{|S|}\mathrm dS\\ \ge \frac{1}{\pi}\sum_{k = 0}^{2N}\int_{k\pi + \pi/4}^{k\pi + 3\pi/4}\frac{|\sin S|}{|S|}\mathrm dS\\ \ge \frac1\pi\frac{\sqrt2}2\sum_{k = 0}^{2N}\frac{\pi/2}{k\pi+3\pi/4} $$

因此 $\sup_{N\ge1}\|\varphi_N\| = +\infty$ ，根据共鸣定理，存在 $f \in C_{per}[0, 2\pi]$ ，使得

$$ \sup_{N \ge 1}|\varphi_N(f)| = +\infty $$

弱收敛

定义： $X$ 为赋范空间， $x_n ,x \in X$ ，称 $x_n \to x$ ，若 $\|x_n - x\|\to 0$ ，为 $x_n$ 依范数收敛到 $x$ 。（强收敛）

定义：称 $x_n$ 弱收敛到 $x$ ，若 $\forall f \in X^\prime$ ， $f(x_n) \to f(x)$ ，记为 $x_n\rightharpoonup x$ ，或者 $x_n \stackrel{w}{\to} x$ 。

定理：若 $x_n \stackrel{w}{\to} x$ ，则

(1) $x$ 唯一

(2) $\exist c \ge 0, \|x_n\| \le c$

证明：(1) 假设 $x_n \stackrel{w}{\to} x, x_n \stackrel{w}{\to} y$ ，则 $\forall f \in X^\prime$ ，都有

$$ f(x_n) \to f(x)\\ f(x_n) \to f(y)\\ f(x - y) = 0\\ \Rightarrow x = y $$

最后一条由 Hahn-Banach 定理给出。

(2) 考虑典范映射 $C: X\to X^{\prime\prime}$ 。

$$ J(x_n)(f) = f(x_n) \to f(x) $$

因此 $\sup_{n\ge1}|J(x_n)(f)| \lt \infty$ 。由于 $X^\prime$ 总为 Banach 空间，因此利用一致有界性原理可得

$$ \sup_{n\ge 1}\|J(x_n)\| \lt \infty $$

因此 $\sup_{n\ge 1}\|x_n\| = \sup_{n\ge 1}\|J(x_n)\| \lt \infty$ 。

定理：

(1) 若 $x_n \to x$ ，即 $\|x_n - x\| \to 0$ ，则 $x_n \stackrel{w}{\to} x$ 。

(2) 若 $\dim{X} = k \lt \infty$ ，则弱收敛等价于强收敛。

证明：(1) $\forall f \in X^\prime$ ，

$$ |f(x_n) - f(x)| \le \|f\|\|x_n - x\| $$

即 $x_n \stackrel{w}{\to} x$ 。

(2) 若 $x_n \stackrel{w}{\to} x$ 。假设 $e_1, \dots e_k$ 为一组 Hamel 基，则

$$ x_n = \sum_{i = 1}^k x_i^{(n)}e_i\\ x = \sum_{i = 1}^k \alpha_ie_i\\ $$

构造对偶基 $\varphi_i \in X^\prime$ ，则

$$ \varphi_i(x_n) \to \varphi_i(x)\\ x_i^{(n)} \to \alpha_i\\ \Rightarrow \|x_n - x\| \to 0 $$

因此强收敛。

例子： $X = \ell^1$ ，强收敛与弱收敛等价？

例子： $H$ 为希尔伯特空间，则弱收敛等价于 $\forall y \in H, \langle x_n, y\rangle \to \langle x, y\rangle$ ，也就是内积的连续性。

例子： $X = \ell^2$ ， $\langle x, y \rangle = \sum_{n = 1}^\infty x_n\bar y_n$ 。则 $e_n \stackrel{w}{\to} 0$ ，因为 $\forall y \in H, \langle e_n, y\rangle = \bar y_n \to 0$ 。但是， $\|e_n\| = 1$ ，如 $e_n \to z$ ，则 $e_n \stackrel{w}{\to} z$ ，从而 $z = 0$ ， $\|e_n\| \to \|z\| = 0$ ，矛盾！因此 $\|e_n\|$ 不依范数收敛。

定理：赋范空间 $X$ ， $x_n\stackrel{w}{\to} x$ 等价于下面两个条件成立：

(1) 存在 $c \ge 0$ ，使得 $\|x_n\| \le c$ ；

(2) 存在 $M \subset X^\prime, \overline{\text{span }M} = X^\prime$ ， $\forall f \in M$ ， $f(x_n) \to f(x)$ 。

证明：从左到右已经证明过了。从右到左，如果 (1)(2) 成立， $\forall f \in \text{span }M$ ， $f = \alpha_1f_1 + \dots + \alpha_kf_k$ ，因此

$$ f(x_n) = \alpha_1f_1(x_n) + \dots + \alpha_kf_k(x_n) \\ \to \alpha_1f_1(x) + \dots + \alpha_kf_k(x)\\ = (\alpha_1f_1 + \dots + \alpha_kf_k)(x) = f(x) $$ $\forall f \in X^\prime$ ，存在 $f_k \in \text{span }M$ 使得 $\|f - f_k\| \lt \frac1k$

因此

$$ \|f(x_n) - f(x)\| \le \|f - f_k\|(\|x_n\| + \|x\|) + |f_k(x_n) - f_k(x)|\\ \le \|f - f_k\|(C + \|x\|) + |f_k(x_n) - f_k(x)| $$

存在 $k, n$ 使得 $\|f - f_k\|(C + \|x\|) \lt \varepsilon/2$ ， $|f_k(x_n) - f_k(x)| \lt \varepsilon / 2$ ，因此 $f(x_n) \to f(x)$ ，即弱收敛成立。

例子： $1 \lt p \lt \infty$ ， $X = \ell^p$ ， $X^\prime \approx \ell^q$ ，取 $M = \{e_i: i\ge1\}$ ，则 $\overline{\text{span } M} = \ell^q$ 。定义 $\varphi_i((y_k)_{k\ge1}) = y_i$ ，根据上述定理可知， $x_n$ 弱收敛到 $x$ 当且仅当 $\sup_{n\ge1}\|x_n\| \lt +\infty$ 且 $x_n$ 依坐标收敛到 $x$ 。

算子的弱收敛：

$X, Y$ 为赋范空间， $T_n \in B(X, Y)$ ， $T: X\to Y$ 线性算子，( $T$ 可能无界)

(1) 称 $T_n$ 一致收敛到 $T$ ，若 $\|T_n - T\| \to 0$ ；

(2) $T_n$ 强收敛到 $T$ ，若 $\forall x \in X$ ， $T_nx\to Tx$ ；

(3) $T_n$ 弱收敛到 $T$ ，若 $\forall x \in X, \forall f \in Y^\prime$ ，都有 $f(T_nx) \to f(Tx)$ 。

性质：极限唯一，且一致收敛推出强收敛，强收敛推出弱收敛。

例子： $X = Y = \ell^2$ ，定义 $T_n: \ell^2 \to \ell^2, (x_1, x_2, \dots)\mapsto (0, \dots, 0, x_{n+1}, x_{n+2}, \dots)$ ，其中前 $n$ 项为 $0$ 。

$\forall x \in \ell^2$ ， $T_n x \to 0 = 0x$ ，因此 $T_n$ 强收敛到 $0$ ，假设 $T_n$ 一致收敛到 $T$ ，则 $T\in B(\ell^2)$ ，则 $T_n$ 强收敛到 $T$ ，唯一性可得 $T = 0$ ，则 $\|T_n - T\| = \|T_n\| = \|T\| = 1 \not \to 0$ ，矛盾！因此强收敛未必一致收敛。

例子： $T_n: \ell^2 \to \ell^2, (x_1, x_2, \dots) \mapsto (0, \dots, 0, x_1, x_2, \dots)$ ，则 $\|T_nx\| = \|x\|$ ，因此 $\|T_n\| = 1$ 。 $\forall x = (x_k)_{k\ge1} \in \ell^2, \forall \varphi \in (\ell^2)^\prime$ ，存在唯一的 $z \in \ell^2$ 使得

$$ \varphi(y) = \sum_{i = 1}^\infty y_i\bar z_i $$

则

$$ \varphi(T_nx) = \sum_{i = 1}^\infty x_i\bar z_{i + n}\\ |\varphi(T_nx)| \le (\sum |x_i|^2)^{1/2}(\sum |z_{i+n}|^2)^{1/2} \to 0 $$

因此 $T_n$ 弱收敛到 0，若 $T_n$ 强收敛到 $T$ ，则 $T = 0$ ， $\|T_n x - 0 x\| = \|x\| \not \to 0$ ，矛盾！因此弱收敛未必强收敛。

定义：（弱星收敛） $f_n, f \in X^\prime$ ，若 $\forall x \in X$ ，都有 $f_n(x) \to f(x)$ ，则称 $f_n$ 弱星收敛到 $f$ 。

定理：（弱星收敛） $X$ 为 Banach 空间， $f_n, f\in X^\prime$ ，则 $f_n \stackrel{w^*}{\to} f$ 的充要条件：

(1) 存在 $c \ge 0$ ，使得 $\|f_n\| \le c$ ；

(2) 存在 $M \subset X, \overline{\text{span }M} = X$ ， $\forall x \in M$ ， $f_n(x) \to f(x)$ 。

定理： $X$ 为 Banach 空间， $Y$ 为赋范空间， $T_n \in B(X, Y)$ ，是线性映射， $\forall x \in X$ ， $T_nx \to Tx$ ，则 $T \in B(X, Y)$ ，且 $\|T\| \le \sup_{n\ge1} \|T_n\| \lt \infty$ 。

定理： $X$ 为 Banach 空间， $Y$ 为赋范空间， $f_n \in X^\prime$ ， $f \in X^*$ ， $\forall x \in X$ ， $f_n(x) \to f(x)$ ，则 $f \in X^\prime$ ，且 $\|f\| \le \sup_{n\ge1} \|f_n\| \lt \infty$ 。

设 $A$ 是一个无穷方阵， $A = (a_{nm})_{m,n\ge1}$ ， $\forall x = (x_n)_{n\ge1}$ ， $y_n = \sum_{m=1}^\infty a_{nm}x_m$ ， $y = (y_n)_{n\ge1}$ ， $c = \{(x_n)_{n\ge1}: x_n 收敛\} \subset \ell^\infty$ ， $\|(x_n)_{n\ge1}\| = \sup_{n\ge1}|x_n|$ ，则 $c$ 是 Banach 空间。

弱星收敛的应用（数列的可和性）

设 $y_n = \sum_{m=1}^\infty a_{nm}x_m \to \xi$ ，称 $\xi$ 为 $x$ 的 $A$ -极限。上述过程在数值分析中称为 $A$ 方法，它把坏的序列变好，好的序列不变差（原本收敛的，经过 $A$ 处理之后还收敛）。

称 $A$ 方法为正则，若 $\forall x = (x_n)_{n\ge1} \in c$ ，且 $x_n \to \xi$ ，则 $\forall n \ge 1, y_n = \sum_{m=1}^\infty a_{nm}x_m$ 收敛，且 $y_n \to \xi$ 。

定理： $A$ -方法为正则的当且仅当

(1) $\forall m \ge 1$ ， $\lim_{n\to\infty}a_{nm} = 0$

(2) $\lim_{n\to\infty}\sum_{m=1}^\infty a_{nm} = 1$

(3) $\exist c \ge 0, \sum_{m=1}^\infty |a_{nm}| \le c (\forall n \ge 1)$

证明：先证明必要性。假设 $A$ -方法正则，则 $x = (x_n)_{n\ge1} \in c$ ， $f(x) = \lim_{n\to\infty}x_n$ ，则 $f \in c^*$ ， $|f(x)| = \lim_{n\to\infty}|x_n| \le \|(x_n)_{n\ge1}\|_\infty$ ，因此 $f \in C^1$ 且 $\|f\| \le 1$ 。

$m \ge 1$ ， $x_m = e_m \to 0$ ，则 $y_n = a_{nm} \to 0$ ，因此 (1) 成立。

取 $x = (1, 1, \dots, 1)$ ，因此， $y_n = \sum_{m=1}^\infty a_{nm} = 1$ ，因此 (2) 成立。

$\forall x = (x_n)_{n\ge 1} \in c$ ，定义 $$ f_{nm}(x) = \sum_{k=1}^m a_{nk}x_k\\ f_n(x) = \sum_{k=1}^\infty a_{nk}x_k\\ $$

则

$$ |f_{nm}(x)| \le \sum_{k=1}^m |a_{nk}||x_k| \le \left(\sum_{k=1}^m|a_{nk}|\right)\|x\|_\infty\\ $$

因此 $f_{nm} \in c^\prime$ ，而 $\lim_{m\to\infty} f_{nm}(x) = f_n(x)$ ，因此 $f_n \in c^\prime$ ，又有 $\lim_{n\to\infty} f_n(x) = f(x)$ ，因此 $f \in c^\prime$ 。因此 $\|f\| \le \sup_{n\ge1}\|f_n\| \lt \infty$ 。

$N \ge 1$ ，存在 $x \in c$ ，使得 $\|x\|_\infty = 1$ ，且 $f_n(x) = \sum_{m=1}^N |a_{nm}|$ ，因此 $\|f_n\| \ge \sum_{m=1}^N |a_{nm}|$ ，取极限可得 $\sum_{m=1}^N|a_{nm}| \le \|f\| \le c$ 。因此 (3) 成立。

接下来证明充分性。若 (1)(2)(3) 成立，下面证明 $A$ -方法正则。

取 $M = \{(x_n)_{n\ge1}\} \in c: \exist N, \forall n \ge N, x_n = x_N$ ，则 $\bar M = c$ 。 $\forall x = (x_n)_{n\ge1}\in c$ ， $\forall \varepsilon \gt 0$ ， $\exist N, \forall m, n\ge N$ ， $|x_m - x_n| \lt \varepsilon$ 。取 $y = (x_1, x_,2 \dots, x_N, x_N, \dots) \in M$ ，则 $\|x - y\|_\infty \lt \varepsilon$ ，即 $\bar M = c$ ，从而 $\overline{\text{span }M} = c$ 。 $\forall x \in M, x = (x_1, x_2, \dots, x_N, \xi, \xi, \dots)$ ， $y_n = \sum_{m=1}^\infty a_{nm}x_m = \sum_{m=1}^N a_{nm}x_m + \xi\sum_{m=N+1}^\infty a_{nm} = \xi\sum_{m=1}^\infty a_{nm} + \sum_{m=1}^N (a_{nm} - \xi) \to \xi$ ，这两项分别应用了条件 (1)(2)。

令 $f_n(x) = \sum_{m=1}^\infty a_{nm}x_m, f_n \in c^*$ ， $\sum_{m=1}^\infty |a_{nm}x_m| \le \sum_{m=1}^\infty |a_{nm}|\|x\|_\infty \lt \infty$ ，因此 $f_n \in c^\prime$ ，且 $\|f_n\| \le \sum_{m=1}^\infty |a_{nm}| \le c$ （利用条件(3)），根据弱星收敛的充要条件，可知 $f_n$ 弱星收敛到 $f$ 。

第二个应用（积分）

$x \in C[a, b]$ ， $\|x\|_\infty = \max_{a\le x \le b}|x(t)|$ ， $\forall x \in C[a, b]$ ，令 $f(x) = \int_a^b x(t) \mathrm dt$ ，则 $f \in C[a, b]^*$ ， $|f(x)| \le (b - a)\|x\|_\infty$ ，且 $f \in C[a, b]^\prime$ 。 $n \ge 1$ ，取定 $[a, b]$ 中的 $n+1$ 的分点， $t_0^{(n)}, t^{(n)}_1, \dots, t^{(n)}_n$ ，设 $a^{(n)}_0, \dots, a^{(n)}_n$ 为常数，则可以计算数值积分 $$ f_n(x) = \sum_{m=0}^n a^{(n)}_m x(t^{(n)}_m) $$

那么我们想分析上述数值积分的极限是否就是积分呢： $f_n(x) \to f(x)$ 吗？

$f_n \in C[a, b]^*$ ， $|f_n(x)| \le \sum_{m=0}^n |a^{(n)}_m|\|x\|_\infty$ ，因此 $f_n \in C[a, b]^\prime$ 。因此这就是一个弱星收敛问题。很自然地想要使用弱星收敛的充要条件证明它。

考虑次数 $\le n$ 的多项式，试图拟合 $f_n(x) = f(x)$ 。此时 $1, t, t^2, \dots, t^n$ 为它的一个 Hamel 基。

$$ \begin{cases} a^{(n)}_0 + a^{(n)}_1 + \dots + a^{(n)}_n = b - a\\ a^{(n)}_0t^{(n)}_0 + a^{(n)}_1t^{(n)}_1 + \dots + a^{(n)}_nt^{(n)}_n = \frac12(b^2 - a^2)\\ \vdots\\ a^{(n)}_0t^{(n)^n}_0 + a^{(n)}_1t^{(n)^n}_1 + \dots + a^{(n)}_nt^{(n)^n}_n = \frac1{n+1}(b^{n+1} - a^{n+1}) \end{cases} $$

只要 $t^{(n)}_0,t^{(n)}_1,\dots, t^{(n)}_n$ 两两不等，就存在唯一的 $a^{(n)}_0, \dots, a^{(n)}_n \in \mathbb K$ 使得 $f_n(x) = f(x)$ 对任意次数 $\le n$ 的多项式成立。

定理： $\forall x \in C[a, b], f_n(x) \to f(x)$ 的充要条件为 $\exist c \ge 0$ 使得 $\sum_{k=0}^n |a_k^{(n)}| \le c$ 。

证明： $M$ 为多项式的集合， $\overline{\text{span }} M = C[a, b]$ ，而多项式集合已经证明了可以收敛到 $f$ ，根据弱星收敛的充要条件，上述收敛成立等价于 $\|f_n\|$ 有统一的上界。

证明充分性：若 $\sum_{k=0}^n |a_k^{(n)}| \le c$ ，则

$$ |f_n(x)| \le (\sum_{k=0}^n |a_m^{(n)}|)\|x\|_\infty \le c\|x\| \Rightarrow \|f\| \le c $$

得证。

证明必要性：根据充要条件 $\|f_n\| \le c$ ， $\exist x \in C[a, b]$ 使得 $\|x\| = 1$ ，且 $f_n(x) = \sum_{m=0}^n |a_{nm}|$ ，因此 $\|f_n\| \ge \sum_{m=0}^n |a_{nm}|$ ，但是 $\|f_n\| \le \sum_{m=0}^n |a_{nm}|$ 总是成立，因此 $\|f_n\| = \sum_{m=0}^n |a_{nm}| \le c$ 。

开映射定理与闭图像定理

定义：设 $X, Y$ 为度量空间， $T: X\to Y$ 为映射，称 $T$ 为开映射，若 $T$ 把开集映射为开集，即任取 $G \subset X$ 为开集，

$$ T(G) = \{Tx: x \in G\} $$

为 $Y$ 的开集。

定理（开映射定理）：设 $X, Y$ 是 Banach 空间， $T \in B(X, Y)$ ， $T$ 满射，则 $T$ 必为开映射，即 $\forall G \in X$ 为开集， $T(G)$ 为开集。

定理（逆算子定理）： $X, Y$ 为 Banach 空间， $T \in B(X, Y)$ ， $T$ 为双射，则 $T^{-1} \in B(Y, X)$ 。

证明需要用到一串引理：

引理： $X$ 为赋范空间， $\lambda \in \mathbb K, \lambda \ne 0$ ，则

若 $x_0 \in X, r \gt 0$ ，则 $\lambda B(x_0, r) = B(\lambda x_0, |\lambda|r)$ 。
若 $M \subset X$ ，则 $\overline{\lambda M} = \lambda \overline{M}$ 。
若 $M \subset X$ ，则 $(\lambda M)\degree = \lambda M\degree$ 。

引理：设 $X, Y$ 为 Banach 空间， $T\in B(X, Y)$ 为满射，则 $X$ 的单位开球 $B_X(0, 1)$ 在 $T$ 下的像 $T(B_X(0, 1))$ 包含一个 $Y$ 中的以 $0$ 为中心的开球。

引理的证明颇为麻烦。首先我们证明 $\overline{T(B_1)}$ 包含某个开球。记 $B_n = B_X(0, \frac1{2^n})$ ，则 $X = \bigcup_{n=1}^\infty kB_1$ ，因为 $T$ 为满射的线性算子，

$$ Y = \bigcup_{n=1}^\infty kT(B_1) \subset \bigcup_{n=1}^\infty \overline{kT(B_1)} \subset Y $$

根据 Baire 定理，Banach 空间 $Y$ 是第二范畴的，因此存在 $k_0 \ge 1$ 使得 $(\overline{k_0T(B_1)})\degree \ne \varnothing$ ，因此存在一个开球使得

$$ B_Y(y_0, r) \subset \overline{k_0T(B_1)}\\ \Rightarrow B_Y(y_0/k_0, r/k_0) \subset \overline{T(B_1)}\\ $$

因此存在 $y_1 \in Y, r_1 \gt 0$ 使得 $B_Y(y_1, r_1) \in \overline{T(B_1)}$ 。

接下来证明 $B_Y(0, r_1) \subset \overline{T(B_0)}$ 。任取 $y \in B_Y(0, r_1)$ ，则 $y_1, y_1 + y\in B_Y(y_1, r_1) \subset \overline{T(B_1)}$ ，存在序列 $u_n, v_n \in B_1$ 使得

$$ T(u_n) \to y_1 + y, T(v_n) \to y_1\\ T(u_n - v_n) \to y $$

但是 $B_1$ 中的任意两点距离不超过 $1$ ，因此 $u_n - v_n \in B_0$ ， $y \in \overline{T(B_0)}$ ，从而 $B_Y(0, r_1) \subset \overline{T(B_0)}$ 。

这似乎可以作为一个小结论：如果 $B_Y(y, r) \subset T(\bar B_X(0, d))$ ，我们可以把像的开球平移到原点，但是原像的闭球半径要翻倍： $B_Y(0, r) \subset T(\bar B_X(0, 2d))$ 。从几何的角度想，我们想估计原点处半径小于 $r$ 的向量 $z$ 的原像范围，我们的做法是把 $z$ 平移个 $y$ ， $z$ 的两个端点就都在 $\bar B_Y(y, r)$ 中了，而它的原像距离最远就是 $2d$ 。

换成开球是否成立呢？假设 $z \in B_Y(0, r)$ ，则 $y + z, y \in B_Y(y, r) \subset T(B_X(0, d))$ ，这就说明存在 $u, v \in B_X(0, d)$ 使得 $Tu = y + z, Tv = y, T(u-v) = z$ ，从而 $z \in B_X(0, 2d)$ 。换成开集，证明更加直接了！

接下来证明 $B_Y(0, r_1/2) \subset T(B_0)$ 。根据上面的结论， $B_Y(0, r_1/2^{n}) \subset \overline{T(B_n)}$ 。对任意 $y \in B_Y(0, r_1/2)$ ，我们要构造一个收敛的 $s_n \to s \in B_0$ 使得 $y = Ts$ ，从而说明 $B_Y(0, r_1/2) \subset T(B_0)$ 。

由于 $B_Y(0, r_1/2) \subset \overline{T(B_1)}$ ，存在 $x_1 \in B_1$ 使得

$$ \|y - Tx_1\| \lt \varepsilon_1 = \frac{r_1}{2^2} $$ $y - Tx_1 \in B_Y(0, r_1/2^2) \subset \overline{T(B_2)}$ ，因此存在 $x_2 \in B_2$ 使得 $$ \|y - Tx_1 - Tx_2\| \lt \varepsilon_2 = \frac{r_1}{2^3} $$

以此类推，存在 $x_n \in B_n, n \ge 1$ 使得

$$ \|y - Tx_1 - Tx_2 - \dots - Tx_n\| \lt \frac{r_1}{2^{n+1}} $$

令 $s_n = x_1 + \dots + x_n \in X$ ，则 $\|s_m - s_n\| \lt 1/2^n$ ，说明 $s_n$ 是柯西列，由完备性可知 $s_n \to s \in X$ ，在上面的不等式取极限可得 $y = Ts$ 。另一方面， $\|s\| \lt \sum_{n=1}^\infty\frac{1}{2^n} = 1$ ，因此 $s \in B_0$ ，这就说明 $y \in T(B_0)$ ，即 $B_Y(0, \frac{r_1}2) \subset T(B_0)$ ，引理证明完毕。

引理证明是本定理证明的主体部分。 $X$ 为完备的这个条件能够推出最后 $s$ 收敛，而 $Y$ 为完备的、 $T$ 为满射则是使用 Baire 定理的先决条件，所有条件都在这里用到了。

接下来我们证明开映射定理。设 $T: X\to Y$ 为满射， $G \subset X$ 为开集。对任意 $y \in T(G)$ ，存在 $x \in G$ 使得 $y = Tx$ ，由于 $G$ 为开集，此时一定存在一个开球 $B_X(x, r) \subset G$ 。根据上一条引理，存在 $B_Y(0, \varepsilon) \subset T(B_X(0, 1))$ ，利用映射的线性性， $B_Y(Tx, r\varepsilon) \subset T(B_X(x, r)) \subset T(G)$ ，也就是说存在以 $y$ 为中心的开球 $B(y, r\varepsilon)$ 为 $T(G)$ 的子集，因此 $T(G)$ 是开集，从而 $T$ 是开映射。

对于逆算子定理，只要注意到 $\forall G \subset X$ ， $G$ 为开集，其关于 $T^{-1}$ 的逆像 $(T^{-1})^{-1}(G) = T(G)$ 是开集，因此 $T^{-1}$ 是连续映射，因此 $T^{-1} \in B(Y, X)$ 。

$$ \|x\|_1 \le \alpha \|x\|_2, x \in X $$

则存在 $\beta \gt 0$ 使得

$$ \|x\|_2 \le \beta\|x\|_1, x \in X $$

即 $\|\cdot\|_1$ 和 $\|\cdot\|_2$ 是等价范数。

证明：构造映射

$$ T: (X, \|\cdot\|_2) \to (X, \|\cdot\|_1)\\ x \mapsto x $$

则 $\|Tx\|_1 = \|x\|_1 \le \alpha\|x\|_2$ ，因此 $\|T\| \le \alpha$ ， $T$ 有界。

有界线性算子 $T$ 是一个双射，且 $(X, \|\cdot\|_1), (X, \|\cdot\|_2)$ 都为 Banach 空间，根据逆算子定理， $T^{-1} \in B((X, \|\cdot\|_1), (X, \|\cdot\|_2))$ ，因此 $\|x\|_2 = \|T^{-1}x\|_2 \le \|T^{-1}\|\|x\|_1$ ，得证。

定理：若 $X, Y$ 为 Banach 空间，则 $X \times Y$ 为 Banach 空间。

证明： $\forall (x_n, y_n) \in X \times Y$ 为柯西列， $\forall \varepsilon \gt 0$ ， $\exist N$ 使得 $\forall m, n \ge N$ ， $\|(x_n, y_n) - (x_m, y_m)\| = \|x_n - x_m\| + \|y_n - y_m\| \lt \varepsilon / 2$ ，因此 $x_n, y_n$ 分别为柯西列，从而 $x_n \to x, y_n \to y$ 。从而 $\|(x_n, y_n) - (x, y)\| = \|x_n - x\| + \|y_n - y\| \to 0$ 。

定义： $X, Y$ 为赋范空间， $D(T) \subset X$ 为线性子空间， $T: D(T) \to Y$ 为线性算子，称 $T$ 为闭算子，若

$$ G_T=\{(x, Tx) \in X\times Y, x \in D(T)\} $$

为 $X \times Y$ 的闭集。

例子： $T \in B(X, Y), D(T) = X$ ，则 $T$ 必为闭算子。实际上，设 $x_n \to x, Tx_n \to y$ ，根据连续性 $Tx_n \to Tx$ ，因此 $y = Tx$ ， $(x, y) = (x, Tx) \in G_T$ 为 $X$ 的闭集。

例子： $X = Y = C[0, 1]$ ， $\|x\|_\infty = \max_{0 \le t \le 1}|x(t)|$ ， $D(T) = C^1[0, 1]$ ， $T: C^1[0, 1] \to C[0, 1], x \mapsto x^\prime$ ，则 $x(t) = t^n, x^\prime(t) = nt^{n-1}$ 说明 $T$ 不是有界的。

但是，下面证明 $T$ 是闭算子。 $\forall (x_n, x_n^\prime) \to (x, y)$ ，则 $x_n \to x, x_n^\prime \to y$ ，此时 $x_n$ 一致收敛到 $x$ ， $x_n^\prime$ 一致收敛到 $y$ 。则

因此 $\int_0^ty(\tau)\mathrm d\tau = x(t) - x(0)$ ，从而 $x^\prime = y \in C[0, 1], (x, y) = (x, x^\prime) \in G_T$ ，说明 $T$ 是闭算子。

例子： $X$ 为赋范空间， $X_0$ 是 $X$ 的线性子空间， $X_0 \subsetneq X, \bar X_0 = X, D(T) = X_0$ ，且 $T: X_0 \to X, x \mapsto x$ 是线性的， $T$ 有界

$\forall x \in X\setminus X_0, \exist x_n \in X_0, x_n \to x$ ，则 $(x_n, x_n) \to (x, x) \not \in G(T)$ ，因此 $T$ 不为闭算子。

定理（闭图像定理）：设 $X, Y$ 完备， $D(T) \subset X$ 为线性子空间， $T: D(T) \to Y$ 线性，闭。若 $D(T)$ 为闭集，则 $T$ 必为有界线性算子。

证明： $X$ 为 Banach 空间， $D(T)$ 闭，因此 $D(T)$ 为 Banach 空间， $Y$ 为 Banach 空间， $D(T)$ 为闭线性空间，则 $D(T)$ 完备。

$S: G_T\to D(T), (x, Tx) \mapsto x$ ，则 $S$ 线性，且 $\|x\| \le \|x\| + \|Tx\| - \|(x, Tx)\|$ ，因此 $\|S(x, Tx)\| \le \|(x, Tx)\|$ ， $S$ 有界。 $S$ 为双射，由开映射定理， $S^{-1}$ 有界，因此 $$ \|Tx\| \le \|(x, Tx)\| \le \|S^{-1}\|\|x\| $$

因此 $T$ 有界。证明完毕。

推论： $X, Y$ 为 Banach 空间， $T: X\to Y$ 为闭算子，则 $T\in B(X, Y)$ 。就是说，在 Banach 空间中，闭线性算子一定是有界线性算子。

实际上，证明一个线性算子是闭算子，比证明它是有界线性算子容易得多。 $D(T) = X$ ， $X, Y$ 为赋范空间， $T: X\to Y$ 是线性的， $T$ 有界等价于 $\forall x_n \to x, Tx_n \to Tx$ ，等价于 $\forall x_n \to x$ ，(1) $Tx_n$ 收敛 (2) $Tx_n$ 的极限为 $Tx$ 。 $T$ 为闭算子，等价于 $\forall x_n \in X$ ，设 $x_n \to x$ 且 $Tx_n \to y$ ，则 $y = Tx$ 。

例子： $H$ 为 Hilbert 空间， $A: H \to H$ 为线性算子，若 $\forall x, y \in H$ 都有 $\langle x, Ay \rangle = \langle Ax, y\rangle$ ，则 $A$ 必为有界的。

证明：只需要证明 $A$ 是闭算子。假设 $x_n \to x, Ax_n \to y$ ，则 $\forall z \in H$ ，都有

$$ \langle Ax_n, z\rangle = \langle x_n, Az \rangle $$

令 $n\to\infty$ ，则有

$$ \langle y, z\rangle = \langle x, Az\rangle = \langle Ax, z\rangle\\ \Rightarrow \langle y - Ax, z \rangle = 0 $$

取 $z = y - Ax$ ，可得 $y = Ax$ ，因此 $A$ 是闭算子，由闭图像定理， $A \in B(H)$ 。

定义一组线性泛函， $\forall x s.t. \|x\| \le 1, f_x: H \to \mathbb K, y \mapsto \langle y, Ax\rangle$ ，则 $|\langle y, Ax \rangle| = |\langle Ay, x\rangle| \le \|Ay\|\|x\| = \|Ay\|$ ，因此 $f_x$ 点点有界，从而一致有界，即存在 $c \ge 0$ 使得 $\|f_x\| = \|Ax\| \le c$ ，从而 $A \in B(H)$ 。