泛函分析 | Guo

度量空间

度量空间必须满足四个性质：(1) 非负性；(2) 非退化性；(3) 对称性；(4) 三角不等式。

$C[a, b]$ 上的 $d_p$ 度量不够好，有的时候不收敛；而 $d_\infty$ 度量比较好用。

离散度量：

$$ d(x, y) = \begin{cases} 0, x=y\\ 1, x\ne y \end{cases} $$

p 阶可和：

$$ \sum_{i=1}^\infty|x_n|^p \lt \infty $$

无穷可和：

$$ \exist C \ge 0, \forall n \ge 1, |x_n| \le C. $$

开集和闭集

设 $(X, d)$ 为度量空间，令

$$ B(x_0,r)=\lbrace x\in X{:}d(x_0,x) < r\rbrace \\ \bar{B}(x_0,r)=\lbrace x\in X{:}d(x_0,x)\leqslant r\rbrace \\ S(x_0,r)=\lbrace x\in X{:}d(x_0,x)=r\rbrace $$

称 $B$, $\bar{B}$, $S$ 分别为开球、闭球、球面。

对于 $M \subset X$, $x_0 \in M$，如果存在 $r > 0$ 使得 $B(x_0, r)\subset M$，则 $x_0$ 为 $M$ 的内点，$M$ 的所有内点称为“内部”，记为 $M\degree$。如果 $M = M\degree$，则称 $M$ 为开集。若 $F^c = X\setminus F$ 为开集，则 $F$ 称为闭集。

$M\degree$ 是 M 内的最大开集。

开集的基本性质：

(1) $X$，空集都是开集。（X 本身可以是闭区间、半开半闭区间，这都无所谓，因为我们是在度量空间 (X, d) 上定义的开和闭）

(2) 任意多个开集的并集仍然是开集。

(3) 有限个开集的交集仍然是开集。（无限多个开集的交集未必是开集，$X=\R$，$G_n=(\frac1n, +\infty)$，则 $\cap_{n=1}^\infty G_n$ 不是开集，因为 0 不是它的内点。）

基于上述的三条性质还可以定义拓扑空间的概念，度量空间属于一种特殊的拓扑空间。

离散度量空间中，所有的集合都是开集，并且所有的集合也都是闭集。

闭集的基本性质：

(1) $X$，空集都是闭集。

(2) 任意多个闭集的交集仍然是闭集。

(3) 有限个闭集的并集仍然是闭集。

闭集可以定义聚点，导集 $M^\prime$，闭包 $\bar{M}$ 的概念。如果某个集合 $M$ 满足 $M=\bar{M}$，则可以断定 $M$ 为闭集。同时，闭包是包含 M 的最小闭集。（这概念的定义是否与内点、内部的概念对偶？一个是并，一个是交。相交非空，取反就是集合的包含关系。）

连续映射：
设两个度量空间 $(X_1, d_1)$，$(X_2, d_2)$，映射 T 满足对任意 $\varepsilon > 0$，存在 $\delta > 0$，当 $d(x_1, x_2) < \delta$ 时，有 $d(Tx_1, Tx_2) \le \varepsilon$。

反直觉的事情：离散度量空间 $(X_1, d_1)$ 的映射总是连续映射。

连续映射可以用逆像的开集刻画：连续映射的充要条件是任意开集的逆像为开集。类似的，闭集的逆像为闭集同样可以刻画映射的连续性。

稠密子集：如果 $M\sub X$ 且 $\bar M = X$，称 $M$ 为 $X$ 的稠密子集。如果 $X$ 有至多可数的稠密子集，称 $X$ 为可分度量空间。（我一直理解错了，认为是“至多可数个”稠密子集，实际上是“存在一个稠密子集，它是至多可数的”。

$M \sub X$ 可以推出 $\bar M \sub X$，因此稠密实际上是说 $X \sub \bar M$，也就是给定任意 $x\in X, r>0$，一定存在 $m\in M$ 使得 $d(x,m) < r$。稠密本质上就是说 X 中任意元素可以用 M 的元素任意逼近。另外，$K^n$ 是可分的。

可数

关于映射的性质：

单射的复合是单射；
满射和满射的复合是满射；
双射的复合是双射。

逆映射：

$$ T T^{-1} = I_Y\\ T^{-1}T = I_X $$

如何比较两个集合的大小？

有限集：直接计算个数即可；

无穷集：如果存在 $A\to B$ 的双射，则 $A, B$ 为等势。记为 $A\sim B$。等势关系具有反身性，对称性，传递性。

可数集：如 $A \sim \N = \lbrace1,2, 3,\dots\rbrace$，称 $A$ 为可数集。

可以证明：如果我能够把集合的所有元素列出来：$A = \lbrace a_1, a_2, \dots, a_n, \dots\rbrace$，元素两两不等，那么 $A$ 就是一个可数集。

有理数是可数的，这个好证。另外，代数数也是可数的。

至多可数：如果一个集合为有限集或者可数集，则称之为至多可数。

一个可数集的子集是至多可数的。

至多可数个可数集的并集为可数集。（证明：对角线遍历即可）由此可以推出，有限个可数集的笛卡尔积还是可数集。因此 $\mathbb Q^n$ 是可数集。

$(0,1)$ 不是可数集。$\R \setminus \mathbb Q$ 是可数集, $(a, b) \cap \mathbb Q$ 是可数集。

$(0,1)\sim(a, b)\sim\R$

可数个可数集的笛卡尔积不一定是可数集。例子：无限长的二进制序列$\lbrace0,1\rbrace^\N = \lbrace0,1\rbrace \times \lbrace0,1\rbrace \times …$ 不是可数集。

$\mathcal P_n$ 为次数≤ n 的整系数多项式集合。代数数集合$\mathcal A = \lbrace P_1的根, P_2的根, …\rbrace$ 是可数的。

可分度量

回到稠密和可分度量空间的讨论来。

$({\mathcal l}^p, d_p)$ 为可分空间。例如，$\mathbb K = \R$ 的情况下， $M=\lbrace(x_n)_{n\ge1}, x_n\in\mathbb Q, \exist N, \forall n \gt N,x_n=0\rbrace \subset l^p$ 是一个稠密子集。首先可以证明 $\bar M = l^p$。接下来，对 M “分层”：$M=\bigcup_{n=1}^{\infty}\lbrace(x_n)_{n\ge1}| x_n\in \mathbb Q, \forall n\ge m, x_n=0\rbrace$，可数个可数集的并集还是可数集，因此 $M$ 是可数的，$l^p$ 是可分度量空间。

但是，$(l^\infty, d_\infty)$ 不是可分度量空间。我们可以构造 $M=\lbrace \lbrace x_n\rbrace \in\ell^\infty:x_n=0,\text{或者 }x_n=1\rbrace \sim \lbrace0, 1\rbrace^\N$，对任意稠密子集 $N$，利用稠密性可以构造一个从 $M\to N$ 的单射（$m_1\ne m_2\Rightarrow n_1\ne n_2$），$M$ 是不可数的，从而 $M$ 的像集也是不可数的，而 $M$ 的像集是 $N$ 的子集，一个可数集的子集怎么可能是不可数的呢？所以 $N$ 一定是不可数的。

可以证明 $\bar {\mathbb Q^n} = \R^n$，$\overline{\mathbb Q^n + i\mathbb Q^n} = \mathbb C^n$，因此 $K^n$ 是可分的。

对于离散度量空间，$X$ 为至多可数集是 $(X, d)$ 可分的充要条件。因为离散度量空间中任何子集都是闭集，因此 $M = \bar M$，稠密又必须有 $\bar M = X$，因此只能是 $M = X$ 成立，$M$ 至多可数等价于 $X$ 至多可数。

$C[a, b]$ 也是可分度量空间。实际上整系数多项式集合 $\mathcal P$ 满足 $\bar{\mathcal P} = C[a, b]$。对于 $d_\infty$ 度量，可以用 stone-weirstrass 定理直接证明，而对于 $d_p$ 度量，$d_p(x, y) \le (b-a)^{1/p}d_\infty(x, y)$，自然也可证明。

收敛性，完备性及紧性

收敛性

若存在 $x\in X$ 使得

$$ \underset{n\to\infty}{\operatorname*{\operatorname*{\lim}}}d(x_n,x)=0, $$

则称 ${x_n}$ 在 $X$ 中收敛。记为 $\lim_{n\to\infty}x_{n}=x$，或者$x_n\to x$。

如果非空子集 $M$ 被包含在 $X$ 的某个开球内，称 $M$ 为有界集。实际上，$M$ 有界等价于 $\forall x \in X，\exists r > 0，M\subset B(x, r)$。

定理：$x_n\to x$，则

（1）${x_n: n\ge1}$ 为有界集。

（2）$x$ 唯一。

利用序列的收敛性，我们可以更方便地证明一个集合为闭集了。

定理：对于 $M\subset X$

(1) $x\in \bar M$ 当且仅当存在 $M$ 的序列 $x_n$，满足 $x_n\to x$；

(2) $M$ 为闭集当且仅当对任意收敛到 $x$ 的 $M$ 中序列 $x_n$，有 $x\in M$。

(1) 证明：若 $x\in M$，则必然存在 $x_n \in B(x, \frac1n)\cap \bar M$，因此 $0\le d(x, x_n) \le \frac1n$，取极限即可；

若从右边证明左边，对任意 $\delta \gt 0$，存在 $n \gt N$ 使得 $d(x, x_n) \lt \delta$，因此，$x_n \in B(x, \delta)$，又因为 $x_n\in M$，因此$B(x, \delta)\cap M \ne \empty$，从而 $x \in \bar M$。

(2) 证明：从左到右：由于 $x_n\to x$，根据 (1) 从右推左，得到 $x\in \bar M = M$；

从右到左：首先 $M \subset M\cup M^\prime = \bar M$ 显然成立。接下来，对任意 $x\in \bar M$，根据 (1) 左推右，存在 M 中序列 $x_n$ 使得 $x_n\to x\in \bar M$，又根据条件可以推出 $x\in M$，因此 $\forall x\in \bar M \Rightarrow x\in M$，从而得知 $\bar M \subset M$。综合得到 $\bar M = M$，即 $M$ 为闭集。

这里最迷惑的地方是 (2) 的“对任意收敛到 $x$ 的 $M$ 中序列 $x_n$”，我们知道任意可以推存在而存在不能推任意。但是 (2) 的从左到右证明是证明任意性成立，过程用到了 (1) ，而(1) 是一个存在性的定理，存在怎么推任意呢，似乎出现了逻辑问题。（我有点难以表达这段话的意思，总之就是在这里的理解出现了差错。）实际上并不矛盾，因为他们的“任意”和“存在”描述的并不是同一个对象！实际上我们完全可以把 (1) 的充分性定理写成：“对任意$M$中序列 $x_n$，如果 $x_n$ 收敛到 $x$，则 $x\in \bar M$”，所谓的存在性本质上也是任意性罢了，当然这样写的话必要性定理就不好表达，所以书上没有采用这种写法。

收敛性可以用来刻画映射的连续性：

定理：$T: X_1\to X_2$，$y\in X_1$，则 $T$ 在 $x=y$ 处连续等价于 $\forall x_n\in X_1, x_n\to y$ 有 $Tx_n \to Ty$。

柯西列：$\forall \varepsilon \gt 0$，$\exist N$，$s.t. \forall m, n \ge N$，$d(x_m, x_n) \lt \varepsilon$。

收敛列都属于柯西列，反之不一定。

完备性

如果所有柯西列都是收敛列（收敛到 $X$ 中的某个点），则称度量空间 $(X,d)$ 是完备的：$\forall x_n \in X$ 为柯西列，$\exist x \in X$,$s.t. x_n\to x$。

$X=\R,\mathbb C$，$d(x,y)=|x-y|$，是完备的。

离散度量空间为完备的。

设 $M = \lbrace(x_n)_{n\ge1}, \exist N, \forall n \ge N, x_n=0\rbrace\subset \ell^1$，$(M, d_1)$ 是不完备的。

首先，取序列 $x_n = (\frac12,\frac14,\dots,\frac1{2^n}, 0, 0, \dots) \subset M$（注意这里的 $n$ 含义为序列的下标，与 $M$ 定义的 $n$ 不同，$M$ 中的 $n$ 是分量的下标），对任意 $m \ge n \ge 1$，$d_1(x_m,x_n) = \sum_{i=n+1}^m\frac{1}{2^i} \le \frac{1}{2^n}$。因此 $x_n$ 是柯西列。但是，假设存在 $x \in M$ 使得 $x_n\to x$，则存在 $N$ 使得 $x$ 从第 $N$ 个分量起都是 $0$。对于任意 $n\ge N+1$， $d_1(x_n, x) \ge \frac1{2^N}$，因此 $x_n \not\to x$。

定理：柯西列均为有界列。

证明：取 $\varepsilon = 1$，存在 $N$，使得对任意 $m,n \ge N$，有 $d(x_m, x_n)\lt 1$，因此 $d(x_m, x_N)\le1$。只要取 $r = \max\lbrace1, d(x_N, x_1), d(x_N, x_2), \dots, d(x_{N-1}, x_N)\rbrace + 1$，就有 $\forall n \gt 1, x_n \in B(x_N, r)$。

定理：$M\in X$
（1）若 $M$ 是完备的，则 $M$ 为闭集。
（2）若 $(X,d)$ 是完备的，则 $M$ 完备当且仅当 $M$ 为闭集。

（1）证明：对任意收敛列 $x_n\in M\to x \in X$，则 $x_n$ 为 $X$ 中的柯西列，也为 $M$ 中的柯西列，由于 $M$ 完备，存在 $y \in M$ 使得 $x_n \to y$，所以 $x = y \in M$，所以 $M$ 为闭集。

（2）证明：只要从右往左证明。 $M\in X$ 为闭集，则对任意 $x_n \in M \to x$，$x \in M$。对任意 $M$ 中的柯西列 $x_n$，它也是 $X$ 中的柯西列，$X$ 的完备性推出 $x_n \to x \in X$，由闭集的性质得到 $x\in M$，因此 $(M,d)$ 是完备的。

对于同集合，可以有不同的度量，度量之间可能有强弱之分：

$$ d_1(x, y) \le \alpha d_2(x, y), \forall x, y \in X, \exist \alpha \gt 0 $$

称 $d_2$ 强于 $d_1$.

此时构造映射 $T: (X, d_1) \to (X, d_2)$, $x \mapsto x$，为 Lipschitz 映射，因此为连续映射。由连续映射的等价定义，$(X, d_2)$ 中的开集、闭集在 $(X, d_1)$ 中也是开集、闭集。此外，容易得到，$(X, d_2)$ 上的收敛列、柯西列，在 $(X, d_1)$ 上也是收敛列、柯西列，且收敛到的点不变。

如果

$$ \alpha d_1(x, y) \le d_2(x, y) \le \beta d_1(x, y), \forall x, y \in X, \exist \alpha,\beta \gt 0 $$

称 $d_1$ 和 $d_2$ 是等价度量。

等价度量：具有相同的开集、闭集、内点、内部、聚点、闭包、柯西列、收敛性（收敛点相同）、完备性、稠密性、可分性。

对于 $X=\mathbb K^n$，$d_\infty(x, y) \le d_p(x, y) \le n^{\frac1p}d_\infty(x, y)$，因此 $d_p$ 与 $d_\infty$ 等价，$d_p$ 之间相互也等价。要想探究它的完备性，只需要证明 $(\mathbb K^n, d_\infty)$ 是完备的。

假设我们已经在高等数学里面证明过了 $\R, \mathbb C$ 是完备的。对任意 $\mathbb K^n$ 中的柯西列，存在 $N$ 使得对任意 $k, l \ge N$， $d_\infty(x_k, x_l)< \varepsilon/2$，即 $|x_{k,i}-x_{l,i}|\lt \varepsilon/2$，因此 $(x_{k,i})_{k\ge1}$ 是 $\mathbb K$ 中的柯西列也是收敛列，取 $l\to\infty$，$x_{l,i}\to a_i$，则 $|x_{k,i} - a_i| \le \varepsilon/2$，因此 $d_\infty(x_l, a) \le \varepsilon/2 \lt \varepsilon$，$x_n$ 是收敛的。因此 $\mathbb K^n$ 是完备的。

$\mathbb Q$ 在 $\R$ 中是不完备的，因为 $\mathbb Q$ 在 $\R$ 中不是闭集。

完备性的判断只需要看柯西列是不是收敛列就行，而这里的反例之所以“不完备”，不是因为柯西列不收敛，而是因为柯西列没有收敛到给定度量空间的某个点，它收敛到外面的点去了！假如我们扩张度量空间的集合范围，有可能找到一个完备的空间。
反过来呢，如果我们有一个完备的空间，我们只需要从这个空间里找一个闭集就可以构造另一个完备的空间。

$(\ell^\infty, d_\infty)$ 是完备的度量空间。证明：对任意柯西列 $x_n$，存在 $N$ 使得对任意 $k, l \ge N$， $d_\infty(x_k, x_l)< \varepsilon/2$，即 $|x_{k,i}-x_{l,i}|\lt \varepsilon/2$，因此 $(x_{k,i})_{k\ge1}$ 是 $\mathbb K$ 中的柯西列也是收敛列，取 $l\to\infty$，$x_{l,i}\to a_i$，则 $|x_{k,i} - a_i| \le \varepsilon/2$，因此 $d_\infty(x_l, a) = \sup|x_{l,i} - a_i| \le \varepsilon/2 \lt \varepsilon$。接下来的关键问题是证明 $a \in \ell^\infty$。$|a_i| \le |a_i + x_{k, i}| \le \varepsilon / 2 + C_k$ 因此 $a\in \ell^\infty$。因此 $x_n \to a\in M$,$(\ell^\infty, d_\infty)$ 完备。

$(\ell^p, d_p)$ 是完备的。$\forall \varepsilon > 0$，$\exist K, \forall k, l \ge K$, $d_p(x_l, x_k) = (\sum_{n=1}^\infty |x_{k,n} - x_{l, n}|^p)^{1/p}\lt \varepsilon / 2$。对任意 $n \ge 1$，$|x_{k, n} - x_{l, n}| \lt \varepsilon / 2$，因此 $(x_{l, n})_{k\ge1}$ 是 $\mathbb K$ 中的柯西列，因此设 $x_{l, n} \to a_n$，$a = (a_1, a_2, \dots)$。从而 $d(x_k, a) = \sum_{n=1}^\infty(|x_{k,n} - a_{n}|^p)^{1/p} = \lim\limits_{l\to\infty}\sum_{n=1}^\infty(|x_{k,n} - x_{l, n}|^p)^{1/p} \le \varepsilon / 2 \lt \varepsilon$，此时只需要证明 $a\in \ell^p$。

对于连续函数 $X=C[a, b]$，$(C[a, b], d_\infty)$ 是完备的. $d_p(x, y)\le (b-a)^{1/p}d_\infty(x,y)$。对任意 $\varepsilon \gt 0$，$\exist K, \forall k,l\ge K, d_\infty(x_k, x_l) \le \varepsilon/8$。即 $\forall t \in [a, b], |x_k(t) - x_l(t)| \lt \varepsilon / 8$。因此 $x_k(t)$ 是 $\mathbb K$ 中的柯西列。我们假设在每个点 $t$，$x_k(t) \to x(t)$。$d(x(t), x_k(t)) = \lim\limits_{l\to\infty} d(x_l(t), x_k(t)) \le \varepsilon / 8 \Rightarrow \forall t\in[a, b], |x(t) - x_k(t)| \le \varepsilon / 8$。接下来我们只要证明 $x \in C[a, b]$，也就是证明它的连续性：$\lim_{t\to t_0}x(t) = x(t_0)$。由于 $x_k \in C[a,b]$，因此 $\exist \delta \gt 0, |t-t_0| \lt \delta, |x_k(t) - x_k(t_0)| \lt \varepsilon / 8$。

$$ |x(t) - x(t_0)| \le |x(t) - x_k(t)| + |x_k(t) - x_k(t_0)| + |x_k(t_0) - x(t_0)|\\ \le \varepsilon / 8 + \varepsilon / 8 + \varepsilon / 8 \lt \varepsilon $$

从而 $x \in C[a,b]$ 得证。

$(C[0, 1], d_p)$ 不完备。例如，当 $p=1$ 时可以构造如下函数：

$$ x_n(t) = \begin{cases} 0, & t\le \frac12\\ 2n(t-1/2), & \frac12 \lt t \le \frac12 + \frac{1}{2n}\\ 1, & t\gt \frac12 + \frac{1}{2n}\\ \end{cases} $$

$d(x_m, x_n) = \frac{1}2(\frac1m - \frac1n)$ 是柯西列，但是它的极限是：

$$ x_n(t) = \begin{cases} 0, & t\le \frac12\\ 1, & t\gt \frac12\\ \end{cases} $$

不是连续函数。

上述例子中，$d_\infty(x_m, x_n) = \sup_{t\in [0, 1]}|x_m(t) - x_n(t)| \ge \sup_{t\in[1/2, 1/2+1/(2m)]}2(m-n)(t-1/2) = 1 - \frac{n}{m}$，对任意 $N$，总存在 $m = 2n, n \ge N$ 使得 $d_\infty(x_m, x_n) \ge 1/2$，因此在 $d_\infty$ 下不是柯西列，从而这个反例在 $(C[0, 1], d_\infty)$ 上不成立。可见，由于 $d_\infty$ 是更强的度量，在 $d_\infty$ 上的柯西列一定是 $d_p$ 的柯西列，但是反过来却未必。

等价度量的完备性等价：$d_1$ 上的柯西列是 $d_2$ 上的柯西列（由于 $d_1$ 强于 $d_2$），$d_2$ 上的柯西列一定在 $d_2$ 度量下收敛，$d_2$ 度量下收敛意味着在 $d_1$ 度量下收敛（由于 $d_2$ 强于 $d_1$），从而 $d_1$ 的柯西列收敛。可见，$d_1$ 和 $d_2$ 必须互相“强于”对方，缺少任一方向，上述证明都无法成立。

假如 $d_2$ 强于 $d_1$，我们可以推出：$d_2$ 的收敛列 $\subset$ $d_1$ 的收敛列 $\subset$ $d_1$ 的柯西列，$d_2$ 的收敛列 $\subset$ $d_2$ 的柯西列 $\subset$ $d_1$ 的柯西列。似乎没办法比较 $d_2$ 的柯西列与 $d_1$ 的收敛列的关系。

进一步，如果 $d_2$ 对应一个完备度量空间，则 $d_2$ 的收敛列 $=$ $d_2$ 的柯西列 $\subset$ $d_1$ 的收敛列 $\subset$ $d_1$ 的柯西列。

如何证明 $(X, d)$ 是完备的？

任取柯西列 $x_k \in X$
找到可能的极限 $x$
求证 $x\in X$
$x_k \to x$

$c_0=\lbrace \lbrace x_n\rbrace \in\ell^\infty:\lim_{n\to\infty}x_n=0\rbrace $，$(c_0, d_\infty)$ 是完备的，和前面不同，这里 $c_0 \subset \ell^\infty$，因此只需要证明 $c_0$ 是闭集就可以了！

对于双射 $T$，若满足

$$ d_2(Tx,Ty)=d_1(x,y),\quad x,y\in X_1 $$

称 $T$ 为等距同构。

设$(X,d)$为度量空间，则存在完备度量空间($\hat{X},\hat{d}$)及$\hat{X}$的子空间(M, $\hat{d}|_{M\times M}),M\subset\hat{X}$,使得 $M$ 在$\hat{X}$ 中稠密$,M$ 与($X,d$)等距同构.上述$(\hat{X},\hat{d})$在等距同构意义下是唯一的，即若存在完备度量空间($X^\prime,d^{\prime}$)及其子空间($M^\prime,d^{\prime}|_{M\times M^{\prime}}$),$M^\prime\subset X^{\prime}$,使得 $M^\prime$在$X^{\prime}$中稠密$,(M^\prime,d^{\prime}|_{M\times M^{\prime}})$与$(X,d)$等距同构，则$(\hat{X},\hat{d})$与$(X^\prime,d^{\prime})$等距同构.

上述过程称为完备化，每个度量空间只有一个完备化。

紧集：

若 $X$ 中任意序列都有收敛子列，则称 $X$ 为紧度量空间。
若 $M \subset X$，$(M, d)$ 为紧度量空间，则称 $M$ 为 $X$ 的紧子集，简称紧集。
若任给 $x_n \in M$，存在子列 $\lbrace x_{n_k}\rbrace$ 和 $x \in X$（注意不是 $x \in M$，否则它就是紧集了），使得 $x_{n_k} \to x$，即 $M$ 中任意序列都有子列收敛到 $X$ 中的某点，则称 $M$ 是 $X$ 的相对紧集。

$M \in \mathbb K^n$ 为紧集当且仅当 $M$ 为有界闭集。紧集一定是相对紧集。

定理：度量空间中的紧集都是有界闭集。

定理：若 $(X, d)$ 为紧度量空间，则 $Y$ 为紧集当且仅当 $Y$ 为闭集。

定理：$(X, d)$ 为度量空间，则 $M \subset X$ 为相对紧集当且仅当 $\bar M$ 为紧集。

连续映射与紧集：

设 $(X_1, d_1), (X_2, d_2)$ 为度量空间，$T: X \to Y$ 为连续映射，那么

若 $M \subset X$ 为紧集，则 $T(M)$ 为 $Y$ 的紧集。
若 $(X, d_1)$ 为紧度量空间，$T$ 为一一映射，则 $T^{-1}$ 为连续映射。

推论：$(X, d)$ 为非空紧度量空间，$T: X\to \R$ 为连续映射，则 $T$ 可以在 $X$ 上取到最大值和最小值，即存在 $x_0, x_1 \in X$ 使得

$$ T(x_0) \le T(x) \le T(x_1), \quad x \in X $$

非空紧集中一定存在最佳逼近元：对于 $x_0\not\in M$，一定存在 $y_0 \in M$ 使得

$$ \rho(x_0, M) = \inf_{y \in M}d(x_0, y) = d(x_0, y_0) $$

Banach 不动点定理

设$(X,d)$为度量空间$,T:X\boldsymbol{\rightarrow}X$ 为映射、若存在常数$0 \le a< 1$,任给 $x,y\in X$,

$d(Tx,Ty)\leqslant\alpha d\left(x,y\right)$

成立，则称$T$为压缩映射.

Banach 不动点定理（压缩映像原理）

非空完备度量空间 $(X, d)$ 的压缩映射 $T: X\to X$ 必有唯一的不动点。

证明：$\forall x_0 \in X$，$x_1 = Tx_0$，$x_{n+1} = Tx_n$，则 $x_n$ 为柯西列，因此 $\exist x, x_n \to x$，因此 $Tx = x$，下证 $x$ 为唯一的不动点。实际上如果有 $Tx = x, Ty = y$，则 $d(x, y) = d(Tx, Ty) \le \alpha d(x, y)$，因此 $(1-\alpha)d(x, y) \le 0$，只能有 $d(x, y) = 0$ 即 $x = y$。

注 1：不动点 $x$ 与初始点 $x_0$ 的选取无关。任取一个点都会收敛到同一个不动点。

注 2：$d(x_n, x) \le \frac{\alpha^n}{1-\alpha}d(x_1, x_0)$（先验估计，可以用来估计 n 次迭代之后 $x_n$ 与不动点之间的距离。）

注 3: $d(x_n, x) \le \frac{\alpha}{1-\alpha}d(x_n, x_{n-1})$

更强的定理：

非空度量空间 $(X, d)$ 有映射 $T: X\to X$，设 $\exist m \ge 1$，$T^m$ 为压缩的映射，则 $\exist ! x \in X$，$Tx = x$。

证明：$S = T^m$ 有唯一不动点 $x$，$Sx = x$。

则 $S^n(Tx) = T^{mn+1}x = T(S^nx) = Tx$，令 $n\to \infty$ 则 $S^n(Tx) \to x$，因此 $Tx = x$ 为不动点。

设闭区间 $I \subset \R$，$d(x, y) = |x - y|$，则 $I$ 是完备的，设 $g: I \to I$ 是 $C^1$ 的，$\forall 0 \le \alpha \lt 1$，有 $|g^\prime(x)| \le \alpha$，则 $\exist ! x_0 \in I, g(x_0) = x_0$。

例子：开平方计算。取 $g(x) = \frac12(x + \frac{c}{x})$，任取 $x_0 \ge \sqrt c$，可以得到 $g(x)$ 有唯一的不动点 $\sqrt c$，且 $g^\prime (x) \le \frac{1}{2} = \alpha$， $d(x_n, \sqrt c) \le \frac{\alpha^n}{1-\alpha}d(x_1, x_0) = \frac{1}{2^{n-1}}d(x_1, x_0)$，因此求解速度是指数收敛的。

例子：线性方程求解。$X = \mathbb K^m, d_\infty(x, y) = \max_{1\le i\le m} |x_i - y_i|$，设 $\mathbb C$ 为 $n$ 阶方阵，且 $b \in \mathbb K^m$，$C = (a_{ij})_{1 \le i, j \le m}$，$T: \mathbb K^m \to \mathbb K^m, x \mapsto Cx + b$。

此时

$$ d_\infty(Tx, Ty) = \max_{1\le i \le m}|\sum_{j = 1}^m a_{ij}(x_j - y_j)| \le \max_{1\le i \le m}\sum_{j = 1}^m |a_{ij}||x_j - y_j| \\ \le (\max_{1\le i \le m}\sum_{j = 1}^m |a_{ij}|)d_\infty(x, y) $$

只要 $\sum\limits_{j = i}^m |a_{ij}| \lt 1$，则 $T$ 为压缩映射，有不动点 $\xi_0 \in \mathbb K^m, T\xi_0 = \xi_0$。

由此，对于任意矩阵 $A$，如果我们想求解 $Ax = b$，可以把 $A$ 分解成 $A = B + G$，其中 $B$ 是可逆矩阵，则

$$ x = B^{-1}Gx + B^{-1}b $$

我们可以设映射 $T: x \mapsto B^{-1}Gx + B^{-1}b$。如果 $\sum\limits_{j = 1}^m |(B^{-1}G)_{ij}| \lt 1$，则 $T$ 为压缩映射，存在唯一不动点 $x = Tx$，从而 $x$ 也是 $Ax = b$ 的唯一解，我们可以通过选取初始值 $x_0$，不断迭代 $T^nx_0$ 来求解矩阵。

我们可以选取合适的 $B$ 和 $G$ 来简化计算。例如，我们取 $B$ 为所有对角线元素构成的矩阵，而 $G$ 为非对角线元素构成的矩阵。

$$ B=\begin{bmatrix}a_{11}&&&&\\&a_{22}&&&\\&&\ddots&&\\&&&&a_{mm}\end{bmatrix} \\ \boldsymbol{B}^{-1}\boldsymbol{G}=\begin{bmatrix}0&a_{11}^{-1}a_{12}&a_{11}^{-1}a_{13}&\cdots&a_{11}^{-1}a_{1m}\\a_{22}^{-1}a_{21}&0&a_{22}^{-1}a_{23}&\cdots&a_{22}^{-1}a_{2m}\\\vdots&\vdots&\vdots&&\vdots\\a_{m}^{-1}a_{m1}&a_{m}^{-1}a_{m2}&a_{m}^{-1}a_{m3}&\cdots&0\end{bmatrix} $$

因此当 $\sum\limits_{j = 2}^{m} |a_{ij}| \lt |a_{ii}|$ 时，$A$ 可逆。这个不等式条件称为行和判据。

定理：若方阵 $A$ 的对角线元素非零且满足行和判据，则 $A$ 可逆。

第三个例子：微分方程局部解的存在性

$a, b\gt 0, R=\lbrace (t,x)\in\mathbb{R}^2:\mid t-t_0\mid\leqslant a,\mid x-x_0\mid\leqslant b\rbrace $，假设 $f: R\to R$ 是矩形区域 $R$ 的连续函数，$\exist k \ge 0, |f(t, u) - f(t, v)| \le k|u - v|$ （Lipschitz 条件），求解初值问题：

$$ \begin{cases}x^{\prime}(t)=f(t,x(t))\\x(t_0)=x_0&\end{cases} $$

在整个矩形内的性质不太好找，但是如果允许缩小范围，我们可以找到一个小的区域，在这个区域中，上述微分方程存在唯一解。

定理：若 $c=\max_{(t,x)\in R}\mid f(t,x)\mid$，$0< \beta< \min\left\lbrace a,\frac{b}{c},\frac{1}{k}\right\rbrace $，此时存在唯一的 $x \in C^1[t_0 - \beta, t_0 + \beta]$，使得 $t\in [t_0 - \beta, t_0 + \beta]$ 时有 $x(t) \in [x_0 - b, x_0 + b]$ 且 $x(t)$ 为上述方程的解。

实际上，我们需要证明 $(\bar B(x_0, c\beta), d_\infty)$ 是完备的，并构造一个压缩映射 $T$.

记 $X = \bar B(x_0, c\beta), I = [t_0 - \beta, t_0 + \beta]$，显然 $X \subset C(I)$ 是闭集，而 $(C(I), d_\infty)$ 是完备的，因此 $(X,d_\infty)$ 是完备的。

定义映射 $T$，$\forall x \in X$，

$$ (Tx)(t) = x_0 + \int_{t_0}^t f(\tau, x(\tau))\mathrm d\tau $$

此时 $|x(\tau) - x(0)| \le c\beta \lt b$，$|\tau - t_0| \le \beta \le a$，因此 $(\tau, x(\tau)) \in R$，上式有意义。$(Tx)(t)$ 当然也是连续函数。

$$ |(Tx)(t) - x_0| = |\int_{t_0}^t f(\tau, x(\tau))\mathrm d\tau| \le c\beta $$

因此 $(Tx)(t) \in X$。因而 $T$ 确实是从 $X$ 到 $X$ 的映射。

另一方面，

$$ \begin{align*} d_\infty(Tx, Ty) &= \max_{t\in I} |\int_{t_0}^t f(\tau, x(\tau)) - f(\tau, y(\tau))\mathrm d\tau|\\ &\le k \max_{t\in I} \int_{t_0}^t |x(\tau) - y(\tau)|\mathrm d\tau\\ &\le k\beta d_\infty(x, y) \end{align*} $$

因此，$T$ 是压缩映射，有唯一不动点 $x$ 使得

$$ x = Tx \Rightarrow\\ x(t) = x_0 + \int_{t_0}^t f(\tau, x(\tau))\mathrm d\tau $$

不难验证 $x(t)\in C^1(I)$，且满足原来的微分方程。

假设还有 $y(t)$ 满足原来的微分方程。则

$$ \int_{t_0}^t y^\prime(\tau)\mathrm d\tau = y(t) - x_0 = \int_{t_0}^t f(\tau, y(\tau))\mathrm d\tau $$

同时

$$ |y(t) - x_0| = |\int_{t_0}^{t} f(\tau, y(\tau))\mathrm d\tau| \le c\beta $$

因此 $y \in X$，$Ty = y$。因此只能 $y = x$。

注意，压缩映射不仅可以从题目给的定义域去找，也可找一个间接的完备度量空间，例如本题中的 $C[a, b]$，原问题求的是 $C^1[a, b]$。但是要注意，不能直接从不动点定理的唯一性证明原问题的唯一性！因为你已经换了一个度量空间，不能直接推出唯一了。因此还需要显式地证明这个东西的唯一性。

接下来是第二类 Fredholm 积分方程的例子：

设 $R = [a, b]^2$ 是连续的，$K: R \to \R$ 是连续的，$v\in C[a, b]$，求解

$$ x(t) = \int_a^b k(t, s)x(s)\mathrm ds + v(t), t\in[a, b] $$

由于 $K \in C[a, b]^2$，$[a, b]^2$ 是有界闭集，因此

$$ C = \max_{t, s \in [a, b]} |K(t, s)| \lt \infty $$

因此定义 $T: C[a, b] \to C[a, b]$，

$$ (Tx)(t) = \int_a^b k(t, s)x(s)\mathrm ds + v(t) $$

由于

$$ d_\infty(Tx, Ty) = \max_{t \in [a, b]} |\int_a^b k(t, s)(x(s) - y(s))\mathrm ds|\\ \le C(b - a) d_\infty(x, y) $$

当 $C(b - a) \lt 1$ 的时候，有唯一的不动点 $x$ 满足积分方程。

下一个例子：Volterra 积分方程

设三角形区域 $R = \lbrace (t, s): a \le t \le b, a \le s \le t\rbrace $，$K: R \to \R$ 是连续的。$v\in C[a, b]$，求解：

$$ x(t) = \int_a^t k(t, s)x(s)\mathrm ds + v(t), t\in[a, b] $$

取

$$ C = \max_{t, s \in [a, b]} |K(t, s)| \lt \infty $$

定义映射 $T: C[a, b] \to C[a, b]$，

$$ (Tx)(t) = \int_a^t k(t, s)x(s)\mathrm ds + v(t) $$

我们证明：$\forall m \ge 1$，

$$ \begin{align*} |(T^mx)(t) - (T^my)(t)| \le \frac{(C(t-a))^m}{m!} d_\infty(x, y) \end{align*} $$

首先，当 $m = 1$ 的时候成立：

$$ \begin{align*} |(Tx)(t) - (Ty)(t)| &= |\int_a^t K(t, s)(x(s) - y(s))\mathrm ds|\\ &\le (C(t-a)) d_\infty(x, y) \end{align*} $$

假设 $m = k$ 的时候成立，当 $m = k+1$ 时

$$ \begin{align*} |(T^{k+1}x)(t) - (T^{k+1}y)(t)| &= |(TT^{k}x)(t) - (TT^{k}y)(t)|\\ &= |\int_a^t K(t, s)((T^kx)(s) - (T^ky)(s))\mathrm ds|\\ &\le C \int_a^t |(T^kx)(s) - (T^ky)(s)|\mathrm ds\\ &\le C \int_a^t \frac{(C(s-a))^k}{k!} d_\infty(x, y) \mathrm ds\\ &\le C \frac{(C(t-a))^{k+1}}{C(k+1)!} d_\infty(x, y)\\ &= \frac{(C(t-a))^{k+1}}{(k+1)!} d_\infty(x, y) \end{align*} $$

因此对于所有的 $m \ge 1$，结论成立。

由于 $m\to \infty, \frac{(C(t-a))^m}{m!} \to 0$，因此必然存在 $M$ 使得 $\frac{(C(t-a))^M}{M!} \lt 1$。此时 $T^M$ 为压缩映射，由不动点定理的推广可知存在唯一的不动点 $x$ 使得 $x = Tx$。

或者说，任给 $v \in C[a, b]$，题目给的积分方程在 $C[a, b]$ 上有唯一的解。

下一个例子：隐函数存在定理

设 $a\le b$ 固定，$R = \lbrace (x, y): a \le x \le b, y\in \R\rbrace $，$f: R \to \R$ 连续，$f^\prime_y(x, y)$ 在 $L$ 上处处存在，存在 $0 \lt m \lt M$，使得 $m \le f_t^\prime(x, y) \le M$，则 $\exist ! y \in C[a, b]$，$f(x,y(x)) = 0, a \le x \le b$。

$\forall y \in C[a, b]$，

$$ (Ty)(x) = y(x) - \frac1Mf(x, y(x)) $$

则 $T: C[a, b]\to C[a, b]$，$y_1, y_2 \in C[a, b]$。

$$ \begin{align*} &|(Ty_1)(x) - (Ty_2)(x)|\\ &=|y_1(x) - y_2(x) - \frac1M(f(x, y_1(x)) - f(x, y_2(x)))|\\ &= |y_1(x) - y_2(x) - \frac1M(y_1(x) - y_2(x))f^\prime_y(x, y_1(\xi))|\\ &= |y_1(x) - y_2(x)||1 - \frac1Mf^\prime_y(x, y_1(\xi))|\\ &\le (1 - \frac mM)|y_1(x) - y_2(x)|\\ &\le (1 - \frac mM) d_\infty(y_1, y_2) \end{align*} $$

因此 $T$ 为压缩映射，存在唯一的不动点 $y$ 使得

$$ y = Ty \Rightarrow \\ y(x) = y(x) - \frac1Mf(x, y(x)) \Rightarrow \\ f(x, y(x)) = 0 $$

赋范空间

线性空间，维数

在 $X\ne \varnothing$ 上定义加法：$\forall x, y \in X, x + y \in X$。

定义数乘：$\forall x \in X, \forall \lambda \in \mathbb K, \lambda x \in X$。

满足下列8条公理：

$x + y = y + x$
$(x + y) + z = x + (y + z)$
$\exist 0 \in X, 0 + x = x + 0$
$\forall x \in X, \exist -x, (-x) + x = 0$
$\alpha(\beta x) = (\alpha\beta)x$
$1\cdot x = x$
$(\alpha + \beta)x = \alpha x + \beta x$
$\alpha(x + y) = \alpha x + \alpha y$

称 $X$ 是 $\mathbb K$ 上的线性空间。

对于 $C[a, b]$，定义 $f + g$ 和 $\alpha f$，显然 $C[a, b]$ 是一个线性空间。

对 $\ell^p$，可以定义 $(x_n)_{n\ge1} + (y_n)_{n\ge1} = (x_n + y_n)_{n\ge1} \in \ell^p$，$\lambda (x_n)_{n\ge1} = (\lambda x_n)_{n\ge1} \in \ell^p$ 是线性空间。

对于 $S = \lbrace (x_n)_{n\ge1}, x_n \in\mathbb K\rbrace $，${n\ge1} = (x_n + y_n)_{n\ge1} \in S$，$\lambda (x_n)_{n\ge1} = (\lambda x_n)_{n\ge1} \in S$，也是线性空间。

线性子空间：如果 $Y \subset X$ 对加法、数乘封闭，则 $Y$ 是 $X$ 的线性子空间。

$C[a, b]$ 是 $F[a, b]$ 的线性子空间。

$\ell^p$, $\ell^\infty$ 是 $S$ 的线性子空间。

$Y_1, Y_2$ 是 $X$ 的线性子空间，$Y_1 \cup Y_2$ 未必是线性子空间。但是 $Y_1 \cap Y_2$ 是线性子空间。

设 $(Y_i)_{i\in I}$ 是一族线性子空间，则 $\bigcap_{i \in I} Y_i$ 仍然是 $X$ 的线性子空间。

设 $X$ 是线性空间，$M\subset X$ 非空，存在唯一最小的线性子空间包含 $M$，称这个最小的线性子空间为 $\text{span}(M)$

称 $\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n$ 为 $x_1, \dots, x_n$ 的线性组合。则

$$ \text{span}(M) = \lbrace \lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n: n \ge1, x_i\in M, \lambda_i \in \mathbb K\rbrace $$

证明：假设 $N = \lbrace \lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n: n \ge1, x_i\in M, \lambda_i \in \mathbb K\rbrace $，则 $\forall x \in M, x = 1 \cdot x \in N$，因此 $M\subset N$。

$N$ 中的加法和数乘封闭，因此 $N$ 是 $X$ 的线性子空间。

任取 $X$ 中的线性子空间 $Q$ 且 $M \subset Q$。对任意 $x \in N$，$x = \lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n \in M \subset Q$，因此 $N \subset Q$。这也就证明了 $N$ 是最小的包含 $M$ 的子空间，从而 $\text{span}(M) = N$。

若存在 $\lambda_1, \dots, \lambda_n \in \mathbb K$ 不全为 0，且 $\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n = 0$，则 $x_1, \dots, x_n$ 为线性相关的。

若 $\lambda_1x_1 + \lambda_2x_2 + \dots + \lambda_nx_n = 0 \Rightarrow \lambda_1=\dots=\lambda_n=0$，则称 $x_1, \dots, x_n$ 为线性无关的。

例子：假设 $X = C(\R)$，$\lambda_1 \lt \lambda_2 \lt \dots\ \lt \lambda_n \lt \dots, f_n(t) = e^{\lambda_nt}$，证明：$\lbrace f_1, \dots, f_n, \dots\rbrace $ 线性无关。

假设 $\mu_1, \dots, \mu_n \in \R$ 使得

$$ \mu_1f_1 + \mu_2f_2 + \dots + \mu_nf_n = 0 $$

那么

$$ \mu_1e^{\lambda_1t} + \mu_2e^{\lambda_2t} + \dots \mu_ne^{\lambda_nt} = 0\\ \mu_1\lambda_1e^{\lambda_1t} + \mu_2\lambda_2e^{\lambda_2t} + \dots \mu_n\lambda_ne^{\lambda_nt} = 0\\ $$

第一个式子乘以 $\lambda_n$ 减去第二式：

$$ \mu_1(\lambda_n - \lambda_1)e^{\lambda_1t} + \mu_2(\lambda_n - \lambda_2)e^{\lambda_2t} + \dots \mu_n(\lambda_n - \lambda_{n-1})e^{\lambda_{n-1}t} = 0\\ \mu_1(\lambda_n - \lambda_1)\lambda_1e^{\lambda_1t} + \mu_2(\lambda_n - \lambda_2)\lambda_2e^{\lambda_2t} + \dots \mu_n(\lambda_n - \lambda_{n-1})\lambda_{n-1}e^{\lambda_{n-1}t} = 0\\ $$

接下来又可以乘系数消元，继续求导，乘系数消元，…，直到剩下一个项：

$$ \mu_1(\lambda_n - \lambda_1)(\lambda_{n-1} - \lambda_1)\dots(\lambda_2 - \lambda_1)e^{\lambda_1t} = 0 $$

因此 $\mu_1 = 0$，同理可以证明 $\mu_2=\dots=\mu_n = 0$。

若存在 $X$ 中的 $n$ 个元素线性无关，且任取 $n+1$ 个元素为线性相关，则称 $X$ 为 $n$ 维空间，$\dim X = n$。

$n$ 维空间中的任意元素 $x \in X$，存在唯一的一组系数 $\alpha_1,\dots ,\alpha_n \in \mathbb K$ 使得

$$ x = \alpha_1x_1 + \dots + \alpha_nx_n $$

不为有限维的空间称为无穷维空间。

$\R^n$ 是 $n$ 维的。$\ell^p, \ell^\infty, S, C[a, b]$ 是无穷维的。

Hamel 基：$M \subset X$

$M$ 是线性无关的
$\text{span}(M) = X$

称 $M$ 是 Hamel 基。

任取 $x\in X$，存在唯一的两两不等的元素 $x_1, \dots, x_n \in M$ 以及全部非 0 的 $\alpha_1, \dots, \alpha_n$ 使得

$$ x = \alpha_1x_1 + \dots + \alpha_nx_n $$

由于 $\text{span}(M)$ 的定义可知上述线性组合的存在性。

假设存在 $\lbrace y_1, \dots, y_m\rbrace \ne \lbrace x_1, \dots, x_n\rbrace $ 使得

$$ x = \beta_1y_1 + \dots + \beta_my_m $$

$$ y_m = \frac1{\beta_m}(\alpha_1x_1 + \dots + \alpha_nx_n - \beta_1y_1 - \dots - \beta_{m-1}y_{m-1}) $$

因此

$$ y_m \in \text{span}\lbrace x_1, \dots, x_n, y_1, \dots, y_{m-1}\rbrace $$

假设 $y_m \not\in \lbrace x_1, \dots, x_n\rbrace $，则得出 $y_m$ 可以由 $\lbrace x_1, \dots, x_n, y_1, \dots, y_{m-1}\rbrace $ 线性表出，且 $y_m$ 不等于其中的任何一个元素，也就是说 $\lbrace x_1, \dots, x_n, y_1, \dots, y_m\rbrace $ 是线性相关的！与 Hamel 基的定义矛盾！

因此 $y_m \in \lbrace x_1, \dots, x_n\rbrace $，同理可以证明 $y_i \in \lbrace x_1, \dots, x_n\rbrace $，从而 $\lbrace y_1, \dots, y_m\rbrace \subset \lbrace x_1, \dots, x_n\rbrace $，同理
$\lbrace x_1, \dots, x_n\rbrace \subset \lbrace y_1, \dots, y_m\rbrace $，因此只能有 $\lbrace y_1, \dots, y_m\rbrace = \lbrace x_1, \dots, x_n\rbrace , m = n$，由线性无关性不难得出 $\beta_1 = \alpha_1, \dots, \beta_n = \alpha_n$。

例子：

$$ C_0 = \lbrace (x_n)_{n\ge1}: x_n\to0\rbrace \\ C_{00} = \lbrace (x_n)_{n\ge1}: \exist N, \forall n \ge N, x_n = 0\rbrace \\ $$

$e_n = (\underbrace{0, 0, \dots, 0}_{(n-1)个}, 1, 0, \dots)$, 此时 $M = \lbrace e_1, \dots, e_n, \dots\rbrace $ 为 $C_{00}$ 的 Hamel 基（需证明：线性无关、能表示所有的元素），但不是 $C_0$ 的 Hamel 基。

反例如下：
$(1, \frac12, \dots, \frac1{2^n}, \dots) \in C_0$ 无法被上述 $M$ 表示出来。

定理：设 $X$ 为线性空间，则 $X$ 必有 Hamel 基。证明需要用到 Zorn 引理。

Zorn 引理：等价于选择公理。

需要先证明下面的定理。

定理：设 $X$ 为线性空间，$N\subset X$ 线性无关，则存在 $M$ 为 $X$ 的 Hamel 基，$N \subset M$。

证明：令

$$ \mathcal E = \lbrace M \subset X: M 线性无关，N \subset M\rbrace $$

则 $N \in \mathcal E$，定义半序关系 $M_1 \le M_2 \Leftrightarrow M_1 \subset M_2$。$\forall \mathcal E_1 \subset \mathcal E$ 非空全序，定义 $\Omega = \bigcup_{M\in \mathcal E_1}M$，则 $N \subset \Omega$。设 $x_1, x_2, \dots, x_n \in \Omega$ 两两不等，存在 $M_1, M_2, \dots, M_n$ 使得 $x_i \in M_i \subset \mathcal E_1, 1 \le i \le n$。不妨设 $M_1 \le M_2 \le \dots M_n$，则 $x_i \in M_n, \forall 1 \le i \le n$，则根据 $M_n$ 的定义得到 $x_1, x_2, \dots, x_n$ 之间线性无关。这就证明了 $\Omega \in \mathcal E$。 $\forall M \in \mathcal E_1$，都有 $M \le \Omega$，说明 $\Omega$ 为 $\mathcal E_1$ 的一个上界。根据 Zorn 引理，$\mathcal E$ 有极大元 $M \in \mathcal E$，此时 $N \subset M$，$M$ 线性无关。若 $\text{span }M \subsetneq X$，这就说明存在 $x_0 \in X\setminus \text{span }M, x_0 \ne 0$, 令 $M \cup \lbrace x_0\rbrace = M_1$ 为线性无关的，则 $N \subset M_1$，说明 $M_1 \in \mathcal E$。此时 $M \le M_1, M \ne M_1$，与 $M$ 是极大元矛盾！因此 $\text{span }M = X$。定理得证。

若 $X \ne \lbrace 0 \rbrace$，则存在 $x_0 \in X, x_0 \ne 0$。此时 $\lbrace x_0 \rbrace$ 线性无关，则存在 $M$ 为 $X$ 的 Hamel 基，$x_0 \in M$。这就证明了任意线性空间必有 Hamel 基。

赋范空间，Banach 空间

设 $X$ 为 $\mathbb K$ 上的线性空间，设

$$ ||\cdot||: X \to \R $$

满足：

$||x|| \ge 0$（非负性）
$||x|| = 0 \Leftrightarrow x = 0$（非退化性）
$||\lambda x|| = |\lambda| ||x||$（齐次性）
$||x + y|| \le ||x|| + ||y||$（三角不等式）

称 $||\cdot||$ 为 $X$ 上的范数，$(X, ||\cdot||)$ 为赋范空间。

可以在赋范空间中定义度量：

$$ d(x, y) = ||x - y|| $$

可验证 $d$ 满足非负性、非退化性、对称性、三角不等式。

这里的 $d$ 具有一般度量不具备的性质（显然一般度量空间不存在加法和数乘）：

平移不变性：$d(x + a, y + a) = d(x, y)$
齐次性：$d(ax, ay) = |a|d(x, y)$

不是所有的度量空间都有范数：

$$ S = \lbrace (x_n)_{n\ge1}, x_n \in \mathbb K\rbrace \\ d((x_n), (y_n)) = \sum_{n=1}^\infty \frac1{2^n}\frac{|x_n - y_n|}{1 + |x_n - y_n|} $$

例子：

$X = \mathbb K^n$, $||x|| = \max_{1 \le i \le n}|x_i|$，$d_\infty((x_n), (y_n)) = \max_{1 \le i \le n} |x_i - y_i|$。

还有 $p$ 范数：$||x||_p = (\sum_{i=1}^n |x_i|^p)^{1/p}$，可以诱导对应的 $d_p$。

对于 $\ell^p$，定义 $||x||_p = (\sum_{i=1}^\infty |x_i|^p)^{1/p}$，$||x||_\infty = \sup ||x_n||$。

对于 $C[a, b]$，定义 $||x||_\infty = \max_{t\in [a,b]}|x(t)|$，$||x||_p = (\int_a^b|x(t)|^p\mathrm dt)^{1/p}$

离散度量也定义不了范数，首先齐次性就不可能满足了。

若 $(X, d)$ 为完备的，称 $(X, ||\cdot||)$ 为 Banach 空间。

$Y$ 为赋范空间 $X$ 的线性子空间。如果 $Y$ 是 Banach 空间，则可知 $Y$ 是 $X$ 中的闭集。如果 $X$ 是 Banach 空间，则 $Y$ 为 Banach 空间的充要条件是 $Y$ 为 $X$ 的闭子集。

设 $(X, ||\cdot||_X)$,$(Y, ||\cdot||_Y)$ 为赋范空间，称 $T: X\to Y$ 为线性算子，如果

$$ T(\alpha x + \beta y) = \alpha Tx + \beta Ty, \quad x, y \in X, \quad \alpha, \beta \in \mathbb K $$

若 $T$ 是一一映射，且

$$ ||Tx||_Y = ||x||_X $$

则称 $T$ 为从 $X$ 到 $Y$ 的等距同构。$X$ 与 $Y$ 之间为等距同构。

我们可以把等距同构的空间看成一个空间。

完备化定理

设 $X$ 为赋范空间，则存在 Banach 空间 $\hat X$ 及其线性子空间 $Y$，使得 $X$ 与 $Y$ 等距同构，$Y$ 在 $\hat X$ 中为稠密的。$\hat X$ 在等距同构意义下是唯一的。即，若 $\hat X_1$ 为 Banach 空间，且 $Y$ 为 $\hat X_1$ 的稠密线性子空间且 $Y$ 与 $X$ 等距同构，则 $\hat X$ 与 $\hat X_1$ 等距同构。

$\hat X$ 称为 $X$ 的完备化。

赋范空间中，我们可以给出无穷和的定义：

$$ s_n = \sum_{i=1}^n x_i \in X $$

若存在 $s \in X$，使得 $s_n \to s$，则称 $\sum_{i\ge1} x_i$ 收敛，记为 $s = \sum_{i=1}^\infty x_i$。

同样可以定义柯西列的概念。

$S_N$ 为 $X$ 中柯西列，如果 $(X, ||\cdot||_X)$ 为 Banach 空间，则存在 $S\in X$ 使得 $S_n \to S$。

定义：若 $(X, ||\cdot||_X)$ 为 Banach 空间，$e_n\in X, (n\ge1)$ 称为 $X$ 的 Schauder 基，如果 $\forall x \in X$，$\exist ! \lambda_n \in \mathbb K$，$x = \sum_{n=1}^{\infty}\lambda_n e_n$。

Banach 空间保证了上述级数如果收敛，就一定会收敛到给定空间内的一点，不会跑到空间外面去。

如果 Banach 空间具有 Schauder 基，则这个空间一定是可分的。另一方面，Schauder 基是线性无关的，因此这个空间一定是无穷维的。

具有 Schauder 基的 Banach 空间一定是无穷维可分空间，但是无穷维可分的 Banach 空间不一定具有 Schauder 基。

有限维赋范空间

一个有用的引理：给定一组线性无关的元素 $e_1, \dots, e_n$，对任意 $\lambda_1, \dots, \lambda_n$，存在实数 $C$ 使得

$$ C(|\lambda_1| + \dots + |\lambda_n|) \le ||\lambda_1e_1 + \dots + \lambda_ne_n|| $$

等价范数：如果存在 $\alpha, \beta \gt 0$，

$$ \alpha ||x||_1 \le ||x||_2 \le \beta ||x||_1 $$

则 $||\cdot||_1, ||\cdot||_2$ 为等价范数。

定理：有限维赋范空间上的任意两个范数都是等价范数，且 $X$ 赋予任何范数都是 Banach 空间。

实际上只要证明任何范数都和 $||\cdot||_1$ 等价，在 $||\cdot||_1$ 上是完备空间，因此在所有的范数上都是完备空间。

推论：$X$ 为赋范空间，若 $Y$ 为 $X$ 的有限维线性子空间，则 $Y$ 一定是 Banach 空间。由于度量空间的任意完备子空间都是闭集，因此 $Y$ 是闭线性子空间。

引理：$Y$ 为 $X$ 的闭线性子空间，且 $Y\ne X$，则对任意 $0\lt \theta \lt 1$，存在 $x_0 \in X$ 使得 $||x_0||=1$ 且 $\forall y \in Y$，$||y - x_0|| \ge \theta$。

进一步地，如果 $\dim Y \lt \infty$，则 $\exist x_0 \in X$，使得 $||x_0||=1$ 且 $\forall y \in Y$，$||y - x_0|| \ge 1$。

Riesz 定理：$X$ 为赋范空间，则 $X$ 为有限维空间当且仅当 $X$ 的单位闭球 $\bar B(0, 1) = \lbrace x\in X: ||x|| \le 1\rbrace$ 为 $X$ 的紧集。

推论：$X$ 为赋范空间，则 $X$ 为有限维空间当且仅当 $X$ 的单位球面 $S(0, 1) = \lbrace x\in X: ||x|| = 1\rbrace$ 为 $X$ 的紧集。

紧集一定是有界闭集，但是有界闭集不一定是紧集。不过，在有限维赋范空间上，有界闭集和紧集等价。

Riesz 定理给出了有限维赋范空间和无穷维赋范空间的一个本质区别。实际上，在有限维赋范空间中，有界序列一定有收敛子列，因为有界序列一定在某个有界闭集中，有界闭集一定是紧集，因此一定有收敛子列；在无穷维赋范空间中，我们可以在单位闭球上看，任意单位闭球中的序列都是有界序列，假如它一定有收敛子列，则说明单位闭球是紧的，与 Riesz 定理矛盾。

有限维赋范空间 $M$ 中，对任意空间外一点 $x_0$ 都可以找到它到该空间的最佳逼近点 $y_0$：

$$ \rho(x_0, M) = \inf_{y \in M} d(x, y) = d(x, y_0) $$

比如向量空间，我们总可以找到点到子空间的最短距离，有唯一的投影点。

一个有用的引理：赋范空间 $X$ 为 Banach 空间当且仅当任取 $x_n \in X$，$||x_n|| \lt \frac{1}{2^n}$，级数 $\sum_{n\ge1} x_n$ 都在 $X$ 中收敛。

定理：若 $X$ 为 Banach 空间，$M$ 为 $X$ 的闭线性子空间，则商空间 $X/M$ 也是 Banach 空间。

线性算子

称 $T: X\to Y$ 为线性算子，若

$$ T(x + y) = Tx + Ty\\ T(\lambda x) = \lambda Tx\\ \Leftrightarrow T(\lambda x + \mu y) = \lambda Tx + \mu Ty $$

$N(T) = \ker(T) = \lbrace x \in X: Tx = 0\rbrace$ 为 $T$ 的零空间

$R(T) = \lbrace Tx: x \in X\rbrace$ 为像空间。

注：

$N(T)$ 为 $X$ 的线性子空间。
$R(T)$ 为 $Y$ 的线性子空间。
$T0_X = 0_Y$。因此 $0 \in N(T)$。

例子：

恒等映射 $I_X: X\to X, x \mapsto x$，$N(I_X) = \lbrace 0\rbrace$，$R(I_X) = X$

零算子：$0_X: X\to X, x\mapsto 0$，$N(I_X) = X$，$R(I_X) = \lbrace 0\rbrace$。

求导算子：$T: C^1[a, b]\to C[a, b], x\mapsto x^\prime$，$N(T) = \lbrace 常函数\rbrace$，$R(T) = C[a, b]$。

积分算子：$T: C[0, 1]\to C[0, 1]$，$(Tx)(t) = \int_0^t x(\tau)\mathrm d\tau$，则 $N(T) = \lbrace 0 \rbrace$，$R(T) = \lbrace x\in C^1[0,1]: x(0)=0\rbrace$。

若 $\dim X \lt \infty$，则 $\dim R(T) \le n$。假设 $e_1,\dots, e_n$ 为 $X$ 的 Hamel 基，则 $R(T) = \operatorname{span}\lbrace Te_1, \dots Te_n\rbrace$，因此 $\dim R(T) \le n$。

$T$ 为单射 $\Leftrightarrow N(T) = \lbrace 0\rbrace$

若 $T$ 为双射，则 $T^{-1}$ 仍然为线性算子。

有界线性算子：若 $\exist C \ge 0$，$\forall x \in X$，$x\ne 0$，都有 $||Tx||_Y \le C||x||_X$，称 $T$ 是有界线性算子。

$||T||=\sup_{x\in X, x\ne0}||Tx||_Y/||x||_x$ 为 $T$ 的范数，则 $||Tx||_Y \le ||T||||X||_X, \forall x \in X$，$||T||$ 为有界线性算子定义中的最小的 $C$。

注：

$||T|| = \sup_{x\in X, ||x||_X=1}||Tx||_Y$ 为 $T$ 范数的等价定义。
$||T|| = \sup_{x\in X, ||x||_X\le 1} ||Tx||_Y$。
$||T|| = \sup_{x\in X, ||x||_X \lt 1} ||Tx||_Y$。

关于注 3 的证明：设 $r = \sup_{x\in X, ||x|| \lt 1}||Tx||$。$||Tx|| \le ||T||\ ||x|| \lt ||T||$，因此 $r \le ||T||$。另一方面，取 $y = \frac{(n-1)x}{n||x||}$，则 $||y|| = \frac{n - 1}{n} \lt 1$，且 $||Ty|| = \frac{n-1}{n}\frac{||Tx||}{||x||} \le r$，因此 $||T|| \le \frac{nr}{n-1}$，取 $n \to \infty$ 可得 $||T|| \le r$，从而 $||T|| = r$。

总觉得这个证明过程不太直观。直观上理解的话，显然由于 $T$ 是线性的，放大和缩小 $x$ 不会对 $||Tx||/||x||$ 的取值产生任何影响，因而一个球里取值可以代表所有的取值。上述证明 $||T|| \le \frac{nr}{n-1}$ 的过程就体现了这个思路。但是证明 $r \le ||T||$ 的思路则难以想到：由于 $x$ 总是在单位球内，因此 $||Tx|| \lt ||T||$，这可能是一个有用的小结论。

$B(X, Y)$ 表示所有从 $X$ 到 $Y$ 的有界线性算子之集。$S, T \in B(X,Y)$，定义加法：$(S+T)x = Sx + Tx$，定义数乘：$\lambda \in \mathbb K，(\lambda S)x = \lambda Sx$。可以证明 $B(X, Y)$ 是线性空间。其上的范数 $||T|| = \sup_{x\ne 0}\frac{||Tx||}{||x||}$ 满足非负性、非退化性、齐次性、三角不等式。

举例：$X = Y = C[a, b]$，其上赋予范数 $||\cdot||_\infty$，令

$$ (Tx)(t) = \int_a^tx(\tau)\mathrm d\tau, t\in [a, b] $$

此时 $T$ 是线性算子，

$$ ||Tx||_\infty = \max_{a\le t \le b}|\int_0^t x(\tau)\mathrm d\tau| \le \max_{0\le t \le 1} \int_0^t |x(\tau)|\mathrm d\tau \le (b-a)||x||_\infty $$

因此 $||T|| \le (b-a)$。下面我们验证等号可以取到。我们取 $x(t) =1$，

$$ (Tx)(t) = t\\ ||Tx||_\infty = (a-b) = (a-b)||x||_\infty $$

因此 $||T|| \ge (b-a)$，从而 $||T|| = (b-a)$。

有界线性算子的复合：$T \in B(X, Y), S\in B(Y, Z)$，则 $T \circ S \in B(X, Z)$。实际上，$||TS|| \le ||T||\ ||S||$，$||T^n|| \le ||T||^n$。

定理：设 $X, Y$ 为赋范空间，$\dim X \lt \infty$，$T: X\to Y$ 为线性算子，则 $T \in B(X, Y)$。

证明：假设 $e_1, e_2, \dots, e_n$ 为 $X$ 的 Hamel 基，$\forall x \in X$，$\exist ! \lambda_1, \dots, \lambda_n \in \mathbb K$，$x = \lambda_1 e_1 +\dots+\lambda_n e_n$。根据引理，存在 $C \ge 0$ 使得对任意 $\lambda_1, \dots, \lambda_n \in \mathbb K$，$C(|\lambda_1| + \dots + |\lambda_n|) \le ||\lambda_1 e_1 + \dots + \lambda_n e_n||$。

因此

$$ ||T(x)|| = ||\lambda_1Te_1 + \dots \lambda_nTe_n||\\ \le (\max_{1 \le i \le n} ||Te_i||)(|\lambda_1| + \dots + |\lambda_n|)\\ \le (\max_{1 \le i \le n} ||Te_i||)\frac1C||\lambda_1 e_1 + \dots + \lambda_n e_n|| $$

因此 $T\in B(X, Y)$。

定理：设 $X, Y$ 为赋范空间，$T: X\to Y$ 为线性算子，则以下命题相互等价：

$T\in B(X, Y)$；
$T$ 为连续映射；
$T$ 在某处连续。

首先，1 推 2 很简单，因为 $||Tx - Ty|| \le ||T||\ ||x - y||$ 说明 $T$ 是 lipschitz 的，因此 $T$ 连续。

其次，2 推 3 也是显然。

接下来，对于 3 推 2，假设 $T$ 在 $x_0$ 处连续，则 $\forall \varepsilon \gt 0$，$\exist \delta \gt 0$，使得 $\forall x \in X$ 且 $||x - x_0|| \lt \delta$，都有 $||Tx - Tx_0|| \lt \varepsilon$。因此， $\forall x_1 \in X$，任取 $x \in X$ 使得 $||x - x_1|| \lt \delta$，都有 $||Tx - Tx_1|| = ||T(x - x_1 + x_0) - Tx_0||$，由于 $||(x - x_1 + x_0) - x_0|| = ||x - x_1|| \lt \delta$，根据 $T$ 在 $x_0$ 的连续性可以推出 $||T(x - x_1 + x_0) - Tx_0|| \lt \varepsilon$，也即 $||Tx - Tx_1|| \lt \varepsilon$，因此 $T$ 在 $x_1$ 处连续。因此 $T$ 在所有的点都连续。

对于 2 推 1，$T$ 在 $0$ 处连续，说明存在 $\delta \gt 0$，使得 $\forall x \in X s.t. ||x|| \lt \delta, ||Tx|| = ||Tx - T0|| \lt 1$。对任意 $x \in X$，$||\frac{\delta x}{2||x||}|| \lt \delta$，因此 $||T\frac{\delta x}{2||x||}|| \lt 1$，从而 $||Tx|| \lt \frac{2}{\delta}||x||$，所以 $T \in B(X, Y)$。

推论：$X, Y$ 为赋范空间，若 $T \in B(X, Y)$，则 $N(T) = \lbrace x \in X: Tx = 0\rbrace$ 为 $X$ 的闭线性子空间。

证明：$T \in B(X, Y)$ 处处连续。实际上，$N(T) = T^{-1}\lbrace0\rbrace$，$\lbrace0\rbrace$ 是闭集，连续映射中，闭集的逆像为闭集。

延拓：设 $X, Y$ 为集合，$X_0 \subset X$，$T_0: X_0\to Y$，$T: X\to Y$，设 $\forall x \in X_0$，$T_0x = Tx$，则称 $T$ 是 $T_0$ 的延拓，$T_0$ 是 $T$ 的限制，$T_0 = T\mid_{X_0}$。

保范延拓定理：$X$ 为赋范空间，$X_0$ 为 $X$ 的线性子空间，$Y$ 为 Banach 空间，$T_0 \in B(X_0, Y)$，则 $\exist ! T \in B(\bar X_0, Y)$ 为 $T_0$ 的延拓，且 $||T|| = ||T_0||$。

证明：

任取 $x \in \bar X_0$，存在序列 $x_n \in X_0, x_n \to x$。此时 $||T_0x_m - T_0x_n|| \le ||T_0|| ||x_m - x_n||$，因此 $T_0x_n$ 为 $Y$ 中的柯西列，由于 $Y$ 是完备的，柯西列一定收敛，因此存在 $y \in Y$ 使得 $T_0 x_n \to y$。

接下来证明，$y$ 与 $x_n$ 的选择无关。假设存在另一个序列 $x_n^\prime \to x$，但是 $Tx_n^\prime \to y^\prime$。我们可以构造第三个序列

$$ t_k = \begin{cases} x_n, k = 2n,\\ x_n^\prime, k = 2n + 1 \end{cases} $$

则 $t_k \to x$，同上述过程可以证明 $Tt_k$ 是 $Y$ 中的柯西列，存在 $y’’ \in Y$ 使得 $Tt_k \to y’’$。但是 $Tx_n$ 和 $Tx_n’$ 是 $Tt_k$ 的子列，因此它们三个的极限相同，$y = y’’ = y’$。

（注：也可利用 $T$ 的连续性证明。）

因此，可以定义

$$ Tx = \lim_{n\to\infty}T_0x_n, x_n\in X_0, x_n \to x $$

上述构造过程得出的 $T$ 是唯一的，任取 $x_n$ 都不会影响极限的值。因此，$\forall x \in X_0$，我们可以取特殊的序列 $x_n = x$，此时有 $Tx = \lim_{n\to\infty}T_0x_n = \lim_{n\to\infty}T_0x = T_0x$，说明 $T$ 为 $T_0$ 的延拓。

接下来证明 $T$ 是有界线性算子。$\forall x, y \in \bar X_0, \lambda, \mu \in \mathbb K$，存在序列 $x_n, y_n \in X$，使得 $x_n \to x, y_n \to y$。则 $T(\lambda x + \mu y) = \lim_{n\to\infty} T_0(\lambda x_n + \mu y_n) = \lim_{n\to\infty} \lambda T_0x_n + \mu T_0y_n = \lambda\lim_{n\to\infty} T_0x_n + \mu \lim_{n\to\infty} T_0y_n = \lambda Tx + \mu Ty$。因此 $T$ 是线性的。

另一方面，$||Tx|| = \lim_{n\to\infty} ||T_0x_n|| \le \lim_{n\to\infty} ||T_0||\ ||x_n|| = ||T_0||\ ||x||$，说明 $T$ 有界，且 $||T|| \le ||T_0||$。从而 $T \in B(\bar X_0, Y)$。

由于 $||T|| = \sup_{x \in \bar X_0, ||x|| = 1} ||Tx|| \ge \sup_{x \in X_0, ||x|| = 1} ||Tx|| = \sup_{x \in X_0, ||x|| = 1} ||T_0x|| = ||T_0||$，因此 $||T|| = ||T_0||$。

注：相等已经是最好的结果，毕竟延拓后的范数不会比原来更小。

还需要证明 $T$ 的唯一性。我们虽然证明了上述构造方法只能导出这一个 $T$，但是没有证明不存在其他的构造方法。假如还存在某个 $T’$ 是 $T_0$ 的延拓，则对任意 $x\in \bar X_0$，存在一个序列 $x_n\in X$ 且 $x_n \to x$，$T’$ 和 $T$ 都是连续映射，则 $Tx_n \to Tx, T’x_n \to T’x$，但是 $Tx_n = T_0x_n = T’x_n$，因此 $Tx = T’x$，这就证明了 $T’ = T$。

线性泛函

设 $X$ 为 $\mathbb K$ 上的线性空间，$f: X \to \mathbb K$，为线性算子，则称 $f$ 为线性泛函。

$X^*$ 表示所有 $X$ 上的线性泛函之集。

如果 $f$ 满足 $\exist C \ge 0$，$\forall x \in X, |f(x)| \le C||x||$，则称 $f$ 为有界线性泛函。$||f|| = \sup_{x \in X}|f(x)|/||x|| = \sup_{x \in X, ||x|| = 1}|f(x)|$。

$X’$ 表示所有 $X$ 上的有界线性泛函， $X’ \subset X^*$。

例子：在 $\mathbb K^n$ 上的线性泛函 $f_a \in (\mathbb K^n)’$

$$ f_a(x) = \sum_{i=1}^n a_ix_i $$

它的范数为 $||a||_2$。

第二个例子：设 $X = C[a, b]$，$Y = \mathbb K$，$C[a, b]$ 上赋予范数 $||\cdot||_\infty$，给定一点 $t_0 \in [a, b]$，令

$$ \delta_{t_0}(x) = x(t_0) $$

$\delta_{t_0}$ 为有界线性泛函，且 $||\delta_{t_0}|| = 1$。$\delta_{t_0}$ 称为 $t_0$ 点的 Dirac 测度。

换成其他范数就不成立了，因为 $x(t_0)$ 可以任意大，而它在 $[a, b]$ 上的积分可以足够小。

$f, g \in X^*$，定义加法：$(f+g)(x) = f(x) + g(x)$，容易证明 $(f+g)(\lambda x + \mu y) = \lambda (f + g)(x) + \mu (f + g)(y)$，因此 $f+g\in X^*$。$\lambda \in \mathbb K$，定义数乘 $(\lambda f)(x) = \lambda f(x)$，容易证明 $\lambda f \in X^*$。

$X^*$ 为线性空间，设 $\dim X = n \lt \infty$，$e_1, \dots, e_n$ 为 $X$ 的一个 Hamel 基，$\forall x \in X$，$\exist ! \lambda_1, \dots, \lambda_n \in \mathbb K$，$x = \lambda_1e_1 + \dots + \lambda_ne_n$。取 $\varphi_i$ 使得 $\varphi_i(x) = \lambda_i$，$\forall 1 \le i \le n$。

若设 $x = \lambda_1e_1 + \dots + \lambda_ne_n, y = \mu_1e_1 + \dots + \mu_ne_n$，则 $x + y = (\lambda_1 + \mu_1)e_1 + \dots + (\lambda_n + \mu_n)e_n$，$\varphi_i(x + y) = \lambda_i + \mu_i = \varphi_i(x) + \varphi_i(y)$，对任意 $a \in \mathbb K$，有 $\varphi_i(ax) = a\lambda_i = a\varphi_i(x)$，因此 $\varphi_i \in X^*$，$\varphi_i(e_j) = \delta_{ij}$。

设 $\lambda_1 \varphi_1 + \dots + \lambda_n \varphi_n = 0$，则 $(\lambda_1 \varphi_1 + \dots + \lambda_n \varphi_n)(e_i) = \lambda_i = 0$，因此 $\varphi_1, \dots, \varphi_n$ 线性无关。

对任意 $\varphi \in X^*$，对任意 $x \in X$，存在唯一分解 $x = \lambda_1e_1 + \dots + \lambda_ne_n$，从而 $\varphi(x) = \varphi(e_1)\varphi_1(x) + \dots + \varphi(e_n)\varphi_n(x) = (\varphi(e_1)\varphi_1 + \dots + \varphi(e_n)\varphi_n)(x)$，因此 $X^* = \text{span}(\varphi_1, \dots, \varphi_n)$，$\dim X^* = n$。其中 $\varphi_1, \dots, \varphi_n$ 称为 $e_1, \dots, e_n$ 的对偶基。

对于赋范空间，$\dim X \lt \infty$，$\forall f \in X^*$，$f\in X’$（有限维空间的线性算子一定是有界算子），$\dim X’ = \dim X$。

设 $X, Y$ 为赋范空间，$B(X, Y) = \lbrace T: X\to Y 有界线性\rbrace$。定理：设 $Y$ 为 Banach 空间，则 $B(X, Y)$ 为 Banach 空间。

证明：假设 $T_n \in B(X, Y)$ 为柯西列，$\forall x \in X$，有

$$ ||T_n x - T_mx|| \le ||T_n - T_m||\ ||x|| $$

因此 $T_nx$ 为柯西列，由于 $Y$ 完备，柯西列一定收敛，设

$$ Tx = \lim_{n\to\infty} T_nx $$

则 $T: X\to Y$，下面证明 $T\in B(x, y)$。

$$ T(\lambda_1x_1 + \lambda_2x_2) = \lim_{n\to\infty} T_n(\lambda_1x_1 + \lambda_2x_2)\\ =\lim_{n\to\infty} （T_n\lambda_1x_1 + T_n\lambda_2x_2) = \lambda_1Tx_1 + \lambda_2Tx_2 $$

因此 $T$ 是线性算子。另一方面，对任意 $\varepsilon \gt 0$，存在 $N \ge 1$，使得对任意 $m, n \ge N$ 都有$||T_n - T_m || \lt \varepsilon / 2$。对任意 $x \in X$，$||T_nx - T_mx|| \le ||T_n - T_m||\ ||x|| \lt \varepsilon ||x|| /2$。可以取 $m = N$，$n \to \infty$，则 $||Tx - T_Nx|| \lt \varepsilon ||x|| /2$。因此 $||Tx|| \le \varepsilon ||x|| /2 + ||T_Nx|| \le (\varepsilon ||x|| /2 + ||T_N||)||x||$，从而 $T$ 有界。因此 $T \in B(X, Y)$。

刚才 $T$ 的定义是 $Tx = \lim_{n\to\infty}T_nx$，尚未证明 $T \to T_n$。实际上对任意 $n \ge N$， $||Tx - T_nx|| = ||(T - T_n)x|| \lt \varepsilon ||x|| /2$，因此 $||T - T_n|| \le \varepsilon / 2 \lt \varepsilon$，这就证明了 $T_n \to T$。

推论：$X’ \in B(X, \mathbb K)$ 总是 Banach 空间。

例子：还是刚才的 $f_a$，我们可以定义映射 $T: (\mathbb K^n, ||\cdot||_2) \to (\mathbb K^n, ||\cdot||_2)’, a \mapsto f_a$，实际上 $T$ 是一个线性保范映射（容易证明），而且是双射。首先 $T$ 是单射，因为 $f_a=0\Rightarrow ||f_a|| = ||a||_2 = 0\Rightarrow a = 0$，说明 $N(T) = \lbrace0\rbrace$。其次 $T$ 是满射，因为对任意 $f \in (\mathbb K^{n})’$，设 $e_1, \dots e_n$ 为 $\mathbb K^n$ 的自然基，则取 $a = (f(e_1), \dots, f(e_n))$，可以证明 $f = f_a$。

因此 $(\mathbb K^n, ||\cdot||_2)’$ 实际上与 $(\mathbb K^n, ||\cdot||_2)$ 等距同构，或者说，它们就是一个空间。

不过注意，$(\mathbb K^n, ||\cdot||_2)’$ 指的是 $x \in \mathbb K^n$，$f_a: \mathbb K^n \to \mathbb K$，而 $(\mathbb K^n, ||\cdot||_2)$ 指的是 $a\in \mathbb K^n$。

第二个例子：$(c_0)’ = \ell^1$。（等距同构意义下相等）

实际上可以证明，对任意 $f\in (c_0)’$，任意 $x = (x_1, x_2, \dots) \in c_0$，有 $f(x) = \sum_{i=1}^\infty f(e_n)x_n$，$(f(e_1), f(e_2), \dots) \in \ell^1$。

第三个例子：$(\ell^1)’ = \ell^\infty$.

考虑 $e_i = \lbrace \delta_{ij}\rbrace \in \ell^1$。

定义 $T: (\ell^1)’ \to \ell^\infty, f\mapsto (f(e_1), f(e_2), \dots)$。$f(e_i)$ 有界，因此 $(f(e_1), f(e_2), \dots) \in \ell^\infty$。

下面证明 $T$ 为单射。考虑 $f, g \in (\ell^1)’$，$Tf = Tg$。取 $x^{(n)} = (x_1, x_2, \dots, x_n, 0, 0, \dots)$，则 $x^{(n)} = x_1e_1 + \dots + x_ne_n$，有 $f(x^{(n)}) = g(x^{(n)})$，$n\to\infty$ 时 $||x^{(n)} - x|| \to 0$，由于 $f, g$ 为连续映射，因此 $f(x^{(n)}) \to f(x), g(x^{(n)}) \to g(x)$，但是 $f(x^{(n)}),g(x^{(n)})$ 是相同的序列，因此它们收敛到相同的点，$f(x) = g(x)$。因此 $f = g$。

这里这么构造的原因可能是因为 $f, g$ 的线性性对于有限个元素生效，但是对于无限个元素求和，未必能保持线性。所以使用一系列有限长度的序列逼近。

证明了 $T$ 是单射之后，就可以说明 $f(x) = \sum_{i=1}^\infty f(e_i)x_i$ 了：$Tf = (f(e_1), f(e_2), \dots)$，而 $g: x \mapsto \sum_{i=1}^\infty f(e_i)x_i$ 满足 $Tg = (f(e_1), f(e_2), \dots) = Tf$，因此 $f = g$。

证明 $T$ 为满射，实际上就是证明对任意 $a \in \ell^\infty$，都存在一个泛函 $f \in (\ell^1)’$ 使得 $Tf = a$。

下一个例子：$(\ell^p)’ = \ell^q$。其中 $\frac1p + \frac{1}{q} = 1, p \gt 1$。

考虑赋范空间 $\ell^p, ||\cdot||_p$，同样记 $e_i = \lbrace \delta_{ij}\rbrace \in \ell^p$。若 $f \in (\ell^p)^{\prime}$，考虑 $x^{(n)} = \lbrace \xi^{(n)}\rbrace$

$$ \xi_i^{(n)} = \begin{cases} |f(e_i)|^q/f(e_i), i\le n 且 f(e_i) \ne 0, 0, 否则. \end{cases} $$

则 $x^{(n)}\in \ell^p$ 且

$$ f(x^{(n)}) = f(\sum_{i = 1}^n \xi_i^{(n)}e_i) = \sum_{i = 1}^n \xi_i^{(n)}f(e_i) = \sum_{i = 1}^n |f(e_i)|^q $$

又由于

$$ f(x^{(n)}) \le ||f|| \left( \sum_{i = 1}^n \frac{|f(e_i)|^{pq}}{|f(e_i)|^p}\right)^{1/p} \le ||f|| \left( \sum_{i = 1}^n |f(e_i)|^{p(q - 1)}\right)^{1/p}\\ = ||f|| \left( \sum_{i = 1}^n |f(e_i)|^{q}\right)^{1/p} $$

因此

$$ \sum_{i = 1}^n |f(e_i)|^q \le ||f|| \left( \sum_{i = 1}^n |f(e_i)|^{q}\right)^{1/p} $$

即

$$ ||f|| \ge \left( \sum_{i = 1}^n |f(e_i)|^{q}\right)^{1/q} $$

令 $n \to \infty$，则

$$ ||f|| \ge \left(\sum_{i = 1}^\infty|f(e_i)|^{q}\right)^{1/q} $$

因此，$\lbrace f(e_i)\rbrace \in \ell^q$。我们可以构造映射

$$ T: (\ell^p)^\prime \to \ell^q\\ f\mapsto \lbrace f(e_i)\rbrace $$

容易证明 $T$ 为线性算子，类似之前的例子，可以证明 $T$ 为单射。

内积空间

设 $X$ 为 $\mathbb K$ 上的线性空间，定义

$$ \langle \cdot, \cdot\rangle: X \cdot X \to \mathbb K\\ (x, y) \mapsto \langle x, y\rangle $$

满足如下性质：

$\langle \lambda_1x_1 + \lambda_2x_2, y\rangle = \lambda_1 \langle x_1, y\rangle + \lambda_2 \langle x_2, y\rangle$
$\overline{\langle x, y \rangle} = \langle y, x\rangle$
$\langle x, x\rangle \ge 0$
$\langle x, x\rangle = 0 \Leftrightarrow x = 0$

则称 $\langle \cdot, \cdot\rangle$ 为 $X$ 上的内积，称 $(X, \langle \cdot, \cdot\rangle)$ 为内积空间。

令 $||x|| = \langle x, x\rangle^{1/2} \ge 0$，就得到了一种范数。

注：$\langle x, \lambda_1y_1 + \lambda_2 y_2\rangle = \overline{\lambda_1}\langle x, y_1\rangle + \overline{\lambda_2}\langle x, y_2\rangle$ ，称为共轭线性。

若 $\mathbb K = \R$，则 $\langle x, y\rangle = \langle y, x\rangle$。

定理：设 $X$ 为内积空间，则

Cauchy-Schwarz 不等式：$|\langle x, y\rangle| \le ||x||\ ||y||$
三角不等式：$||x + y|| \le ||x|| + ||y||$，并且等号成立当且仅当 $y = 0$ 或者 $x = cy$。

证明：对于 1，$||0|| = \langle 0, 0\rangle = 0$。若 $y = 0$，$\langle x, 0\rangle = \langle x, \lambda 0\rangle = \bar \lambda \langle x, 0\rangle$，因此 $\langle x, 0\rangle = 0$，此时不等式取到等号。

若 $y \ne 0$，对任意 $c \in \mathbb K$，

$$ \begin{align*} 0 &\le \langle x - cy, x - cy\rangle\\ &= \langle x, x - cy\rangle - c\langle y, x - cy\rangle\\ &= \langle x, x\rangle - \bar c\langle x, y\rangle - c\langle y, x\rangle + |c|^2\langle y, y\rangle\\ &= ||x||^2 - \bar c\langle x, y\rangle - c\langle y, x\rangle + |c|^2||y||^2 \end{align*} $$

令 $c = \langle x, y\rangle/ ||y||^2$，则可以推出

$$ 0 \le \langle x - cy, x - cy\rangle = ||x||^2 - \frac{|\langle x, y\rangle|^2}{||y||^2}\\ \Rightarrow |\langle x, y\rangle| \le ||x||\ ||y|| $$

等号成立等价于 $x = cy$ 或者 $y = 0$，实际上，等价于 $x, y$ 线性相关。

对于 2，

$$ \begin{align*} ||x + y||^2 &= \langle x + y, x + y\rangle\\ &= \langle x, x + y\rangle + \langle y, x + y\rangle\\ &= \langle x, x\rangle + \langle x, y\rangle + \langle y, x\rangle + \langle y, y\rangle\\ &= ||x||^2 + ||y||^2 + 2\text{Re}(\langle x, y\rangle)\\ &\le ||x||^2 + ||y||^2 + 2|\langle x, y\rangle|\\ &\le ||x||^2 + ||y||^2 + 2||x||\ ||y||\\ &= ||x + y||^2 \end{align*} $$

等号成立当且仅当 $x, y$ 线性相关。

第二个有点奇怪，赋范空间里面早就有三角不等式了，但是赋范空间中没有给出取等条件。直到定义了内积，才成功导出这个条件。

从内积诱导范数 $||x|| = \langle x, x\rangle^{1/2} \ge 0$，若 $(X, ||\cdot||)$ 为 Banach 空间，则称 $X$ 为 Hilbert 空间。

有平行四边形等式：

$$ ||x + y||^2 + ||x - y||^2 = 2(||x||^2 + ||y||^2) $$

定理：若 $||\cdot||$ 为 $X$ 上的范数，则能够诱导出该范数的内积 $||x|| = \langle x, x\rangle^{1/2} \ge 0$ 存在的充要条件为 $\forall x, y \in X$，

$$ ||x + y||^2 + ||x - y||^2 = 2(||x||^2 + ||y||^2) $$

必要性好证，充分性的证明非常复杂。大意是说，对于 $\mathbb K = \R$，我们取

$$ \langle x, y\rangle = \frac{1}{4}(||x + y||^2 - ||x - y||^2) $$

对于 $\mathbb K = \mathbb C$，我们取

$$ \langle x, y\rangle = \frac{1}{4}(||x + y||^2 - ||x - y||^2) + \frac{i}{4}(||x + iy||^2 - ||x - iy||^2) $$

可以证明这样定义出来的内积，诱导出来的范数就是 $||\cdot||$。上面这两个等式称为极化恒等式。

内积的连续性：若 $x_n\to x, y_n\to y$，则 $\langle x_n, y_n\rangle \to \langle x, y\rangle$.

实际上：

$$ \begin{aligned} &|\langle x_n, y_n\rangle - \langle x, y\rangle|\\ &=|\langle x_n, y_n \rangle - \langle x_n, y\rangle + \langle x_n, y\rangle - \langle x, y\rangle|\\ &=|\langle x_n, y_n - y\rangle + \langle x_n - x, y\rangle|\\ &\le |\langle x_n, y_n - y\rangle| + |\langle x_n - x, y\rangle|\\ &\le ||x_n||\ ||y_n - y|| + ||x_n - x||\ ||y||\\ \end{aligned} $$

首先，让 $x_n \to x$，则 $||x_n|| \to ||x||$；然后让 $y_n \to y$，就得到了上式趋于 0.

内积的几个例子：

首先是 $\mathbb K^n$

$$ \langle (x_1, \dots, x_n), (y_1, \dots, y_n)\rangle = \sum_{i = 1}^n x_i \bar y_i\\ $$

然后是 $\ell^2$：

$$ \langle (x_n)_{n\ge_1}, (y_n)_{n\ge 1}\rangle = \sum_{n = 1}^\infty x_n\bar y_n $$

接下来是 $X = C[a, b]$，$x, y \in X$，

$$ \langle x, y\rangle = \int_{a}^b x(t)\overline{y(t)}\mathrm dt $$

这些空间上诱导的范数都是 $||\cdot||_2$。

对于 $\mathbb K^n$， p 范数或者无穷范数都不可能由内积空间诱导出来。实际上取 $x = (1, 0, \dots, 0), y = (0, 1, 0, \dots, 0)$，若存在对应的内积，则它应该满足平行四边形等式。

$$ ||x+y||_p = 2^{1/p}, ||x - y||+p = 2^{1/p}\\ ||x + y||_p^2 + ||x - y||_p^2 = 2^{1 + 2/p}\\ 2 ||x||_p^2 + 2||y||_p^2 = 4 $$

依据平行四边形等式 $1 + 2/p = 2$，只能得到 $p = 2$。

但是你的范数，是用开方定义的，平行四边形法则也是2范数下的平行四边形法则，这合理吗？在 p 范数下难道不应该是 p 范数的平行四边形法则：

$$ ||x + y||_p^p + ||x - y||_p^p = 2||x||_p^p + 2||y||_p^p $$
你用 2 范数版本的平行四边形法则去验证 p 范数，当然不成立，这个结论是非常 trival 的。

等距同构：设 $(X_1, \langle\cdot, \cdot\rangle_1), (X_2, \langle\cdot, \cdot\rangle_2)$ 为内积空间，称 $X_1, X_2$ 为等距同构，如果存在双射线性算子 $T: X_1 \to X_2$，对于任意 $x, y \in X_1$，都有

$$ \langle Tx, Ty\rangle_2 = \langle x, y\rangle_1 $$

实际上，$\langle Tx, Ty\rangle_2 = \langle x, y\rangle_1 \Leftrightarrow ||Tx||_2 = ||x||_1$。

从左到右是显然的。从右到左，我们可以利用极化恒等式。例如，如果 $\mathbb K = \R$，

$$ \langle Tx, Ty\rangle_2 = \frac14 (||Tx + Ty||^2_2 - ||Tx - Ty||_2^2)\\ = \frac14 (||T(x + y)||^2_2 - ||T(x - y)||_2^2)\\ = \frac14 (||x + y||^2_1 - ||x - y||_1^2) = \langle x, y\rangle_1 $$

定理：$X$ 为内积空间，则存在唯一 $\hat X$ 为希尔伯特空间，存在 $W$ 为 $\hat X$ 的线性空间，满足：

$W$ 与 $X$ 等距同构
$\bar W = \hat X$，$W$ 在 $\hat X$ 中稠密。

则称 $\hat X$ 为 $X$ 的一个完备化。

正交补和直和

定理：$X$ 为内积空间，$M \subset X$ 为非空凸集，$M$ 为完备的，则存在唯一的 $y_0 \in M$ 为 $x_0$ 在 $M$ 中的最佳逼近元。

证明：记 $\delta = \rho(x_0, M)$，存在序列 $y_n \in M$ 使得 $||x_0 - y_n|| = \delta_n \to \delta$。

此时

$$ \begin{aligned} ||y_n - y_m||^2 &= ||(y_n - x_0) - (y_m - x_0)||^2\\ &= 2||y_n - x_0||^2 + 2||y_m - x_0||^2 - ||y_n + y_m - 2x_0||^2\\ &= 2(\delta_n^2 + \delta_m^2) - 4||\frac{y_m + y_n}{2} - x_0||^2\\ &\le 2(\delta_n^2 + \delta_m^2) - 4\delta^2 \to 0,\quad m,n\to\infty \end{aligned} $$

其中 $\frac{y_m + y_n}{2} \in M$ 是根据凸集的条件得到的。因此 $y_n$ 为柯西列，由于 $M$ 完备，这个序列在 $M$ 中收敛，$y_n \to y_0 \in M$，这就证明了 $\delta = ||y_0 - x_0||$。

接下来证明它的唯一性。假设存在 $y_0^\prime$ 也满足 $||x_0 - y_0^\prime|| = \delta$，

$$ \begin{aligned} ||y_0 - y_0^\prime||^2 &= ||(y_0 - x_0) - (y_0^\prime - x_0)||^2\\ &= 2||y_0 - x_0||^2 + 2||y_0^\prime - x_0||^2 - 4||\frac{y_0 + y_0^\prime}{2} - x_0||^2\\ &\le 2\delta^2 + 2\delta^2 - 4\delta^2 = 0 \end{aligned} $$

因此 $y_0^\prime = y_0$。

注：

若 $X$ 为希尔伯特空间，则可以设 $M$ 为非空闭凸集；
若 $X$ 为内积空间，$M \subset X$ 为完备线性子空间，则上述结论也成立。（线性空间当然也是凸的）

定理：设 $X$ 为内积空间，$M$ 为 $X$ 的完备线性空间，则对任意 $x_0 \in X$，存在唯一的 $y_0 \in M$ 为 $x_0$ 在 $M$ 中的最佳逼近元，则 $x_0 - y_0 \perp M$，即 $\forall z_0 \in M, \langle x_0 - y_0, z_0\rangle = 0$。

证明：只需要证明最后一句话。假设存在 $z_1 \in M$，使得 $\langle x_0 - y_0, z_1\rangle \ne 0$，记 $\xi = x_0 - y_0$，$\lambda = \langle \xi, z_1\rangle / ||\xi||^2$，则

$$ 0 \le ||x_0 - (y_0 + \lambda z_1)||^2 = ||\xi - \lambda z_1||^2\\ = ||\xi||^2 - \bar\lambda\langle\xi, \bar z_1\bar \rangle - \lambda\langle z_1, \xi\rangle + |\lambda|^2\ ||z_1||^2\\ = ||\xi||^2 - \frac{|\langle \xi, z_1\rangle|^2}{||z_1||^2} \lt ||\xi||^2 = ||x_0 - y_0||^2 $$

这就说明了 $||x_0 - (y_0 + \lambda z_1)|| \lt ||x_0 - y_0||$，但是 $y_0 + \lambda z_1 \in M$，但是 $y_0$ 是最佳逼近元，矛盾！

定义正交：$x\perp y \Leftrightarrow \langle x, y\rangle = 0$。

内积空间 $X$，对于 $M \subset X$ 非空，定义 $M^\perp = \lbrace x \in X: \forall y \in M, x \perp y\rbrace$，为 $M$ 的正交补。

注：$M^\perp$ 为 $X$ 的闭线性子空间。

证明：$\forall x_n \in M^\perp$，设 $x_n \to x \in X$。$\forall y \in M$，$\langle x_n, y\rangle = 0$，$n\to\infty$ 得到 $\langle x, y\rangle = 0$，因此 $x \in M^\perp$，这就证明了 $M^\perp$ 是闭集。

$\forall x, y \in M^\perp, \lambda, \mu \in \mathbb K$，存在 $z \in M$，

$$ \langle \lambda x + \mu y, z\rangle = \lambda \langle x, z\rangle + \mu \langle y, z\rangle = 0 $$

因此 $\lambda x + \mu y \in M^\perp$，证明 $M^\perp$ 为 $X$ 的闭线性子空间.

直和:$X$ 为线性空间,$Y, Z$ 为 $X$ 的线性子空间,$Y + Z = \lbrace y + z: y \in Y, z\in Z\rbrace$ 为 $X$ 的线性子空间.称 $X$ 为 $Y$ 和 $Z$ 的直和, $X = Y \oplus Z$, 若对任意 $x \in X$, 存在唯一 $y \in Y$, 唯一$z \in Z$, 使得 $x = y + z$.

定理: 设 $H$ 为希尔伯特空间, 设 $M$ 为 $H$ 的闭线性子空间, 则 $H = M \oplus M^\perp$.

证明: $\forall x \in H$, $\exist! y \in M$ 为 $x$ 在 $M$ 中的最佳逼近元, $x - y \in M^\perp$. 下面证明唯一性, 设 $x = y_1 + z_1 = y_2 + z_2$, $y_1, y_2 \in M, z_1, z_2 \in M^\perp$,则

$$ ||y_1 - y_2||^2 = \langle y_1 - y_2, y_1 - y_2\rangle = \langle y_1 - y_2, z_1 - z_2\rangle = 0 $$

因此 $y_1 = y_2$，从而 $z_1 = z_2$，这就证明了唯一性。

注：

$||x||^2 = ||y||^2 + ||z||^2$，因此 $||y|| \le ||x||, ||z|| \le ||x||$。

我们可以定义线性算子 $P_M: H \to M$，它能够把 $H$ 中的任意元素投影到 $M$ 中（也就是得到它在 $M$ 中的最佳逼近元）。显然 $\Vert P_M\Vert \le 1$，且若 $M = \lbrace 0 \rbrace$，则 $P_M = 0, \Vert P_M\Vert = 0$；否则 $P_Mx_0 = x_0, \forall x_0 \in M$，因此 $\Vert P_M\Vert = 1$。$N(P_M) = M^\perp, R(P_M) = M$。$P_M + P_{M^\perp} = I_{H}$。$P_M^2 = P_M$。

定理：设 $H$ 为 Hilbert 空间，$M$ 为 $H$ 的闭线性子空间，则 $(M^\perp)^\perp = M$。

证明：$\forall x \in M, \forall y \in M^\perp$，$x \perp y$。则 $x \in (M^\perp)^\perp$，从而 $M \subset (M^\perp)^\perp$。

$\forall x \in (M^\perp)^\perp$，下证 $x \in M$。存在唯一的 $y \in M \subset (M^\perp)^\perp, z \in M^\perp$，使得 $x = y + z$。则 $(x - y) = z$，我们知道 $x - y \in (M^\perp)^\perp$，$z \in M^\perp$，因此只能有 $x - y = z = 0$，因此 $x = y \in M$ 成立。得证。

引理：设 $X$ 为内积空间，$M$ 为 $X$ 的非空子集，则

$$ (\text{span}(M))^\perp = M^\perp, (\bar M)^\perp = M^\perp $$

证明：$\forall x \in M^\perp$，$\forall y \in \text{span}\ M$，存在 $y_1, \dots, y_n \in M$，$\lambda_1, \dots, \lambda_n \in \mathbb K$，使得

$$ y = \lambda_1y_1 + \dots + \lambda_ny_n $$

则

$$ \langle x, y \rangle = \bar \lambda_1\langle x, y_1\rangle + \dots + \bar \lambda_n\langle x, y_n\rangle = 0 $$

从而 $x \in \text{span } M$，从而 $M^\perp \subset (\text{span }M)^\perp$。但是 $\text{span } M \subset M$，因此自然有 $M^\perp \supset (\text{span }M)^\perp$，因此 $M^\perp = (\text{span }M)^\perp$。

$M \subset \bar M$，因此 $M^\perp \subset \bar M^\perp$。存在 $y_n \in M$，使得 $y_n \to y$，由内积的连续性，$0 = \langle x, y_n\rangle\to \langle x, y\rangle$，因此 $x \in (\bar M)^\perp$，这就证明了 $(\bar M)^\perp \subset M^\perp$，因此 $(\bar M)^\perp = M^\perp$.

定义：$M \subset X$ 称为完全集，如果 $\text{span}(M)$ 在 $X$ 中稠密。

定理：$H$ 为 Hilbert 空间，$M$ 在 $H$ 中为完全集当且仅当 $M^\perp = \lbrace 0 \rbrace$。

证明：先证明必要性：$\overline{\text{span }M} = H$，则 $M^\perp = (\text{span} M)^\perp = (\overline{\text{span} M})^\perp = H^\perp = \lbrace 0\rbrace$。对于充分性：$(\overline{\text{span} M})^\perp = M^\perp = \lbrace0\rbrace$，由于 $N = \overline{\text{span} M}$ 是 $H$ 的闭线性子空间，因此 $H = N \oplus N^\perp = N = \overline{\text{span} M}$。

标准正交集（基）

$X$ 为内积空间，$M \subset X$ 称为正交集，若 $\forall x, y \in M$，$x \ne y$，则 $x \perp y$。若 $N = \lbrace \frac{x}{\Vert x\Vert }: x\in M\rbrace$，则 $N$ 也为正交集。

对于正交集 $N$，若 $\forall x \in N$，$\Vert x\Vert = 1$，则称 $N$ 为标准正交集。

引理：$N$ 为 $X$ 的标准正交集，则

$\forall e_1, \dots, e_n \in N$ 两两不等，$\lambda_1, \dots, \lambda_n \in \mathbb K$，都有 $\Vert \lambda_1e_1 + \dots + \lambda_ne_n\Vert ^2 = |\lambda_1|^2 + \dots + |\lambda_n|^2$
$N$ 是线性无关的。

对于 1， $\Vert \lambda_1e_1 + \dots + \lambda_ne_n\Vert ^2 = \langle \lambda_1e_1 + \dots + \lambda_ne_n, \lambda_1e_1 + \dots + \lambda_ne_n\rangle = \sum_{1 \le i, j \le n}\lambda_i\bar\lambda_j \langle e_i, e_j \rangle = |\lambda_1|^2 + \dots + |\lambda_n|^2$

对于 2，$a_1, \dots, a_n \in \mathbb K$ 使得 $a_1e_1 + \dots + a_ne_n = 0$，根据 1 可以得到 $0 = \Vert a_1e_1 + \dots + a_ne_n\Vert ^2 = |a_1|^2 + \dots + |a_n|^2$，因此 $a_1 = \dots = a_n = 0$，说明是线性无关的。

例子：$X = \mathbb K^n$，取 $e_i = (0, \dots, 0, \underline{1}_{第i个}, 0, \dots, 0) \in \mathbb K^n$。

例子：$X = \ell^2$，取 $e_i = \lbrace\delta_{ij}\rbrace$。

例子：$X = C[0, 2\pi], \mathbb K = \R$，取 $f_n(t) = \sin (nt);(n \ge 1), g_n(t) = \cos (mt); (m\ge0)$。不是标准正交集，$\Vert f_n\Vert = \Vert g_m\Vert = \sqrt{2\pi}$。

例子：$X = C[0, 2\pi], \mathbb K = \mathbb C$，取 $e_m = e^{imt}$。则 $\lbrace \frac{e_m}{\sqrt{2\pi}}: m \in \Z\rbrace$ 为标准正交集。

设 $X$ 为内积空间，$N$ 为标准正交集，$e_1, \dots, e_n \in N$ 两两不等，对于 $x = \lambda_1e_1 + \dots + \lambda_ne_n$ 有

$$ x = \sum_{i = 1}^n \langle x, e_i\rangle e_i $$

$\forall x \in X$，设

$$ y = \sum_{i = 1}^n \langle x, e_i\rangle e_i $$

下证 $x - y \perp y$。实际上，

$$ \langle x - y, y\rangle = \langle x, y\rangle - \Vert y\Vert ^2 = \langle x, \sum_{i = 1}^n \langle x, e_i\rangle e_i\rangle - \sum_{i = 1}^n |\langle x_i, e_i\rangle|^2 = 0 $$

因此 $\Vert x - y\Vert ^2 + \Vert y\Vert ^2 = \Vert x\Vert ^2 \ge \Vert y\Vert ^2$，因此

$$ \sum_{i = 1}^n \langle x, e_i\rangle e_i \le \Vert x\Vert ^2 $$

设 $N$ 为标准正交集，$e_1, \dots, e_n \in N$ 两两不等，$\forall x \in X$，

$$ \sum_{i = 1}^\infty \langle x, e_i\rangle e_i \le \Vert x\Vert ^2 $$

称为 Bessel 不等式。

设 $X$ 为内积空间，$x_1, \dots, x_n \in X$ 线性无关，则 $\exists e_1, \dots, e_n$ 为标准正交的，使得 $\text{span }\lbrace x_1, \dots, x_n\rbrace = \text{span }\lbrace e_1 \dots, e_n \rbrace$。（Gram-Schmidt 标准正交化方法）。

$$ e_1 = \frac{x_1}{\Vert x_1\Vert }\\ v_2 = x_2 - \langle x_2, e_1\rangle e_1, v_2 \perp e_1\\ e_2 = \frac{v_2}{\Vert v_2\Vert }, e_2 \perp e_1 $$

$e_1, e_2$ 线性无关，否则，可以推出 $x_1, x_2$ 线性相关，矛盾！要证明 $\text{span }\lbrace x_1, x_2 \rbrace = \text{span }\lbrace e_1, e_2 \rbrace$，只需证明 $e_1, e_2 \in \text{span }\lbrace x_1, x_2 \rbrace$，且 $x_1, x_2 \in \text{span }\lbrace e_1, e_2 \rbrace$。

$$ v_3 = x_3 - \langle x_3, e_2\rangle e_2 - \langle x_3, e_1\rangle e_1, v_3 \perp \lbrace e_1, e_2\rbrace\\ e_3 = \frac{v_3}{\Vert v_3\Vert }\\ v_4 = x_4 - \langle x_4, e_3\rangle e_3 - \langle x_4, e_2\rangle e_2 - \langle x_4, e_1\rangle e_1, v_4 \perp \lbrace e_1, e_2, e_3\rbrace\\ e_4 = \frac{v_4}{\Vert v_4\Vert }\\ \dots $$

设 $N \subset X$ 为标准正交集，$N$ 可能是不可数的，但是，$\forall x \in X$，$N_x = \lbrace e \in N: \langle x, e\rangle \ne 0\rbrace$ 为至多可数的。实际上，记 $N_{x, m} = \lbrace e \in N: |\langle x, e\rangle \ge \frac1m\rbrace$，可以证明 $N_{x, m}$ 是有限集。这是因为贝塞尔不等式给上述 $\langle x, e \rangle$ 的平方和一个上界，不可能为无穷大。

定理：设 $H$ 为 Hilbert 空间，则 $H$ 必有完全标准正交集。

一般的证明要用 Zorn 引理。但是如果 $H$ 是可分的，我们可以给出下面的证明：

若 $\dim H \lt \infty$，设 $\dim H = n$。存在 $x_1, \dots, x_n$ 为 $H$ 的 Hamel 基，即 $x_1, \dots, x_n$ 线性无关且 $\text{span } \lbrace x_1, \dots, x_n\rbrace = H$。

存在标准正交的 $e_1, \dots, e_n$，使得 $\text{span } \lbrace x_1, \dots, x_n\rbrace = \text{span } \lbrace e_1, \dots, e_n\rbrace$，从而 $\overline{\text{span } \lbrace e_1, \dots, e_n\rbrace} = H$。

若 $\dim H = \infty$，由于 $H$ 是可分空间，存在 $x_1, x_2, \dots, \in H$，使得 $\overline{\text{span } \lbrace x_1, \dots, x_n, \dots\rbrace} = H$。

我们可以从 $x_1$ 开始逐个挑选 $x_{n_1}, x_{n_2}, \dots$，如果 $x_k$ 可以被已经挑选过的 $x_{n_i}$ 线性表出，那么我们就不选它，不能线性表出我们就选。那么我们可以得到 $\overline{\text{span } \lbrace x_{n_1}, \dots, x_{n_k}, \dots\rbrace} = H$。

接下来，我们做正交化，对任意 $k \ge 1$，

$$ \text{span } \lbrace x_{n_1}, \dots, x_{n_k}\rbrace = \text{span } \lbrace e_1, \dots, e_k \rbrace $$

因此

$$ \text{span } \lbrace x_{n_1}, \dots, x_{n_k}, \dots\rbrace = \text{span } \lbrace e_1, \dots, e_k, \dots \rbrace\\ H = \overline{\text{span } \lbrace x_{n_1}, \dots, x_{n_k}, \dots\rbrace} = \overline{\text{span } \lbrace e_1, \dots, e_k, \dots \rbrace} $$

利用 Zorn 引理，我们可以给出下面的证明：

定理：设 $H$ 为 Hilbert 空间，$N \subset H$ 为标准正交，则 $\exist M$ 为完全标准正交集，$N \subset M$。

证明：令

$$ \mathcal E = \lbrace M \subset X: N \subset M, M 标准正交 \rbrace $$

则 $N \in \mathcal E$, 对于 $M_1, M_2 \in \mathcal E$，定义 $M_1 \le M_2 \Leftrightarrow M_1 \subset M_2$。$\forall \mathcal E_1 \subset \mathcal E$ 非空全序，令 $\Omega = \bigcup_{M \in \mathcal E_1} M$，则首先有 $N \subset \Omega$。接下来证明 $\Omega$ 是标准正交的。$\forall x, y \in \Omega$，存在 $M_1, M_2 \in \mathcal E_1$，存在 $M_1, M_2 \in \mathcal E_1$ 使得 $x \in M_1, y \in M_2$，不妨设 $M_1 \le M_2$，则 $x \in M_2$，$M_2$ 中的元素都是标准正交的，因此 $x \perp y$。这就说明 $\Omega$ 是标准正交的，因此 $\Omega \in \mathcal E$。且 $\forall M \subset \mathcal E_1$，都有 $M \le \Omega$，说明 $\mathcal E_1$ 有上界，根据 Zorn 引理，$\mathcal E$ 有极大元 $M$。$N \subset M$，$M$ 为标准正交的。假设此时 $P = \overline{\text{span } M} \subsetneq H$，则 $H = P \oplus P^\perp, P^{\perp} \ne \lbrace 0 \rbrace$。

若 $H \ne \lbrace 0 \rbrace$，则存在 $x_0 \in H, \Vert x_0\Vert = 1$。此时 $\lbrace x_0 \rbrace$ 线性无关，则存在 $M$ 为 $H$ 的完全标准正交集，$x_0 \in M$。这就证明了任意希尔伯特空间必有完全标准正交集。

引理：设 $H$ 为 Hilbert 空间，$\lbrace e_1, e_2, \dots \rbrace \subset H$ 为标准正交的，则

$\forall \lambda_i \in \mathbb K$，$\sum_{i = 1}^\infty\lambda_ie_i$ 收敛的充要条件是 $\sum_{i = 1}^\infty |\lambda_i|^2\lt \infty$。
若 $x = \sum_{i = 1}^\infty \lambda_i e_1 \in H$，则 $\lambda_i = \langle x, e_i\rangle$。
$\forall x \in H$，$\sum_{i = 1}^\infty \langle x, e_i \rangle e_i$ 收敛。

证明：① 定义 $S_N = \sum_{i = 1}^N\lambda_ie_i$，$s_N = \sum_{i = 1}^N |\lambda_i|^2$，下证 $S_N$ 在 $H$ 中收敛等价于 $s_N$ 在 $\R$ 中收敛。

$S_N$ 收敛，等价于 $S_N$ 在 $H$ 中为柯西列，等价于

$$ \forall N^\prime \ge1, \lim_{N\to\infty} \Vert S_{N^\prime + N} - S_N\Vert ^2 = 0\\ \Leftrightarrow \forall N^\prime \ge1, \lim_{N\to\infty} \Vert \sum_{i = N+1}^{N^\prime + N} \lambda_ie_i\Vert ^2 = 0\\ \Leftrightarrow \forall N^\prime \ge1, \lim_{N\to\infty} \sum_{i = N+1}^{N^\prime + N} |\lambda_i|^2 = 0\\ \Leftrightarrow \forall N^\prime \ge 1, \lim_{N\to\infty} (s_{N^\prime + N} - s_N) = 0 $$

因此等价于 $s_N\in \R$ 为柯西列，等价于 $s_N$ 在 $\R$ 上收敛。

②

$$ x = \lim_{N\to\infty} \sum_{i = 1}^N \lambda_i e_i\\ \langle x, e_i\rangle = \lim_{N\to\infty} \sum_{i = 1}^N \langle \lambda_i e_i , e_i\rangle = \lambda_i\\ $$

③ 这是显然的，根据 ① 我们只要证明 $\sum_{i = 1}^\infty |\langle x, e_i\rangle|^2$ 收敛，根据 Bessel 不等式，这个东西有上界的，因此肯定收敛。

定义：设 $H$ 为内积空间，$M$ 为 $H$ 的标准正交集，若 $\overline{\text{span }(M)} = H$，则称 $M$ 为 $H$ 的标准正交基，也称为 $H$ 的完全标准正交集。

定理：$H$ 为 Hilbert 空间，$N \subset H$ 为标准正交的，则下面 4 个结论等价：

$N$ 为完全的。
$\forall x \in H, x = \sum_{e \in N}\langle x, e\rangle e$.
$\forall x \in H, \Vert x \Vert ^2 = \sum_{e\in N} |\langle x, e\rangle|^2$ （Parseval 等式）.
$\forall x, y \in H, \langle x, y\rangle = \sum_{e\in N}\langle x, e\rangle\langle e, y \rangle$ .

假设 1 不成立，则 $\overline{\text{span }N} \subsetneq H \Rightarrow N^\perp \ne \lbrace 0 \rbrace$，则 $\forall x \in N^\perp, x\ne 0$ 都有

$$ \langle x, e \rangle = 0, \forall e \in N $$

这就得到了 $N_x = \varnothing$，$x$ 和任何 $e \in N$ 内积都等于 0，此时容易验证 2，3,4 都不成立（对于 4，只要取 $x = y$）。这就证明了 2 能推出 1， 3 能推出 1，4 能推出 1.

若 $N$ 为完全的，下证 1 -> 2 -> 4 -> 3 成立。

若 1 成立，设 $N$ 为 $H$ 的标准正交基， $\overline{\text{span }N} = H$，存在至多可数的 $N_x$：

$$ N_x = \lbrace e: \langle x, e\rangle \ne 0\rbrace = \lbrace e_1, e_2, \dots, \rbrace $$

级数 $y = \sum_{i = 1}^\infty \langle x, e_i \rangle e_i$ 收敛。此时

$$ \langle x - y, e_i\rangle = \langle x, e_i \rangle - \sum_{i = 1}^\infty \langle \langle x, e_i \rangle e_i, e_i\rangle = 0 $$

对于 $e \not \in N_x, e \in N$ 我们有

$$ \langle x - y, e \rangle = \langle x, e \rangle - \sum_{i = 1}^\infty \langle \langle x, e_i \rangle e_i, e \rangle = 0 - 0 = 0 $$

因此 $x - y \in N^\perp = (\overline{\text{span }N})^\perp = H^\perp = \lbrace 0\rbrace$，因此 $x = y$。从而 2 得证。结合起来，1 能推 2，2 能推 1，因此 1 和 2 是等价的。

接下来我们先证明 2 -> 4，然后从 4 显然能推出 3.

我们可以取 $N_x, N_y$ 是可数的，他们的并也是可数的：

$$ N_x \cup N_y = \lbrace e_1, e_2, \dots \rbrace $$

此时

$$ \langle x, y\rangle = \langle \sum_{i = 1}^\infty\langle x, e_i\rangle e_i, \sum_{i = 1}^\infty\langle y, e_i\rangle e_i\rangle = \lim_{n\to\infty} \langle \sum_{i = 1}^n\langle x, e_i\rangle e_i, \sum_{i = 1}^n\langle y, e_i\rangle e_i\rangle \\ = \lim_{n\to\infty}\sum_{i = 1}^n\langle x, e_i\rangle\langle e_i, y\rangle = \sum_{i = 1}^\infty\langle x, e_i\rangle\langle e_i, y\rangle $$

最后，取 $x = y$，我们就得到了 Parseval 恒等式，也就是命题 3。我们证明了 2，3，4能推出 1；1 推出 2；2 推出 3；3 推出 4。综上所述，上面的 4 个条件是等价的。

$\mathbb K^n, \ell^2$ 都是完备的，因此可以搞出一组完全标准正交集满足上述性质。但是 $(C[a, b], \Vert \cdot\Vert _2)$ 不是完备的，所以上述性质在这种情况下不成立。

Hilbert 空间的对偶空间

问题：$(C[a, b], \Vert \cdot\Vert _\infty)^\prime = ?$

设 $X$ 为内积空间，$\forall z \in x$，$f_z(x) = \langle x, z\rangle (x \in X)$，则 $f_z \in X^*$，且 $|f_z(x)| \le \Vert z\Vert \Vert x\Vert $，因此 $f_z \in X^\prime, \Vert f_z\Vert \le \Vert z\Vert $，下面只要证明 $\Vert f_z\Vert \ge \Vert z\Vert $。这是因为若 $z = 0$，则结论显然；否则 $\Vert f_z(z)\Vert = \Vert z\Vert ^2$，可以得到 $\Vert f_z\Vert \ge \Vert z\Vert $。因此 $\Vert f\Vert = \Vert z\Vert $

定理（Riesz）：$H$ 为 Hilbert 空间，则 $\forall f \in H^\prime$，存在唯一的 $z \in H$ 使得 $f(x) = \langle x, z \rangle$。（$\Vert f\Vert = z$）。

证明：先证明存在性，若 $f = 0$，则取 $z = 0$ 即可。若 $f\ne 0$，$N(f) \subsetneq H$ 为 $H$ 的闭线性子空间，因此 $H = N(f) \oplus (N(f))^\perp$。

因此 $\exist z_0 \in N(f)^\perp, z_0 \ne 0$，$\forall x \in H$，

$$ f(f(z_0)x - f(x)z_0) = f(z_0)f(x) - f(x)f(z_0) = 0\\ \Rightarrow f(z_0)x - f(x)z_0 \in N(f)\\ \Rightarrow \langle f(z_0)x - f(x)z_0, z_0 \rangle = 0\\ \Rightarrow f(x) = \langle x, \frac{f(z_0) z_0}{\Vert z_0\Vert ^2} \rangle $$

因此可以取 $z = f(z_0)z_0 / \Vert z_0\Vert ^2$。

下面证明唯一性：设 $z_1 \in H$ 使得 $f(x) = \langle x, z \rangle = \langle x, z_1 \rangle$。可得 $\langle x, z - z_1 \rangle = 0$，因此 $z - z_1 \in H^\perp = \lbrace 0\rbrace $，只能有 $z = z_1$。

有人可能会问，这个 $z$ 的选取不是明显依赖于 $z_0$ 的选取吗，为什么说它是唯一的。实际上 $\dim N(f)^\perp = 1$，所有的 $z_0$ 都在一条直线上。

定义：称 $\varphi: X \times Y \to \mathbb K$ 为共轭双线性泛函，满足：

$$ \varphi (\lambda_1 x_1 + \lambda_2 x_2, y) = \lambda_1 \varphi (x_1, y) + \lambda_2 \varphi(x_2, y) \varphi (x, \lambda_1 y_1 + \lambda_2 y_2) = \bar \lambda_1 \varphi (x, y_1) +\bar \lambda_2 \varphi(x, y_2) $$

其中 $X, Y$ 为赋范空间。若存在 $C \ge 0$ 使得 $\varphi(x, y) \le C\Vert x\Vert \Vert y\Vert $，则称 $\varphi$ 为有界双线性泛函。令

$$ \Vert \varphi\Vert = \sup_{x \ne 0,y\ne 0} \frac{|\varphi(x, y)|}{\Vert x\Vert \Vert y\Vert } $$

$\Vert \varphi\Vert = \sup_{\Vert x\Vert \le 1, \Vert y\Vert \le 1}{|\varphi(x, y)|} = \sup_{\Vert x\Vert = 1, \Vert y\Vert = 1}{|\varphi(x, y)|} = \sup_{\Vert x\Vert \lt 1, \Vert y\Vert \lt 1}{|\varphi(x, y)|}$。

$\Vert \varphi(x, y)\Vert \le \Vert \varphi\Vert \Vert x\Vert \Vert y\Vert $。

假设有 $S \in B(X, Y)$，$\varphi(x, y) = \langle Sx, y\rangle$，此时有 $|\varphi(x, y)| \le \Vert Sx\Vert \Vert y\Vert \le \Vert S\Vert \Vert x\Vert \Vert y\Vert $。

因此 $\varphi$ 为有界共轭双线性泛函，$\Vert \varphi\Vert \le \Vert S\Vert $。

引理：$X$ 为内积空间，$x_0 \in X$，则 $\Vert x_0\Vert = \sup_{x \in X, \Vert x\Vert =1}|\langle x, x_0 \rangle|$。因此

$$ \Vert S\Vert = \sup_{x \in X, \Vert x\Vert =1} \Vert Sx\Vert _Y = \sup_{x \in X, \Vert x\Vert =1}\sup_{y \in Y, \Vert y\Vert = 1} |\langle y, Sx\rangle| = \sup_{\Vert x\Vert =1}\sup_{\Vert y\Vert = 1} |\varphi(x, y)| = \Vert \varphi\Vert $$

我们得到了一大把有界共轭双线性泛函。假如我们的内积空间还是完备的，我们可以证明所有的有界共轭双线性泛函都可以表示为上面的形式。

定理（Riesz）：设 $H_1, H_2$ 为 Hilbert 空间，$\varphi: H_1 \times H_2 \to \mathbb K$ 为有界共轭双线性泛函，则存在唯一的 $S \in B(H_1, H_2)$ 使得 $\varphi(x, y) = \langle Sx, y \rangle_2$。

证明：对固定的 $x \in H_1$，考虑线性泛函 $H_2 \to \mathbb K, y \mapsto \overline{\varphi(x, y)}$。

$$ |\overline{\varphi(x, y)}| \le \Vert \varphi\Vert \Vert x\Vert \Vert y\Vert $$

根据线性泛函的 Riesz 定理，存在唯一的 $Sx \in H_2$ 使得 $\overline{\varphi(x, y)} = \langle y, Sx\rangle$，即 $\varphi(x, y) = \langle Sx, y\rangle$。这里的 $S: H_1\to H_2$ 是一个映射，对每个 $x \in H_1$ 都映射到唯一的 $Sx$ 以满足上述的条件。接下来要证明 $S \in B(H_1, H_2)$。

$\forall y \in H_2$，$x_1, x_2 \in H, \lambda_1, \lambda_2 \in \mathbb K$，有

$$ \varphi(\lambda_1 x_1 + \lambda_2 x_2, y) = \langle S(\lambda_1x_1 + \lambda_2x_2), y\rangle = \lambda_1\varphi(x_1, y) + \lambda_2\varphi(x_2, y) = \langle \lambda_1Sx_1 + \lambda_2Sx_2, y\rangle\\ \Rightarrow \langle S(\lambda_1x_1 + \lambda_2x_2) - (\lambda_1Sx_1 + \lambda_2Sx_2), y\rangle = 0 $$

可以取 $y = S(\lambda_1x_1 + \lambda_2x_2) - (\lambda_1Sx_1 + \lambda_2Sx_2)$ 就有 $\Vert S(\lambda_1x_1 + \lambda_2x_2) - (\lambda_1Sx_1 + \lambda_2Sx_2)\Vert ^2 = 0$，因此 $S(\lambda_1x_1 + \lambda_2x_2) = (\lambda_1Sx_1 + \lambda_2Sx_2)$，从而 $S$ 是线性的。

因此，$S \in B(H_1, H_2)$。

下面证明唯一性：假设 $S_1 \in B(H_1, H_2)$，使得 $\varphi(x, y) = \langle Sx, y \rangle = \langle S_1x, y\rangle$ 则有 $\langle Sx - S_1x, y \rangle = 0, \forall x \in H_1, \forall y \in H_2$，因此 $Sx = S_1x, \forall x \in H_1$，即 $S = S_1$。

伴随算子：$H_1, H_2$ 为 Hilbert 空间，$A \in B(H_1, H_2)$，$\varphi : H_2, H_1 \to \mathbb K, (y, x) \mapsto \langle y, Ax\rangle$ 为共轭双线性泛函，由于

$$ |\varphi(y, x)| = |\langle y, Ax\rangle_2| \le \Vert A\Vert \Vert x\Vert \Vert y\Vert $$

说明 $\varphi$ 为有界共轭双线性泛函，根据 Riesz 定理有唯一的 $A^* \in B(H_2, H_1)$ 使得 $\varphi(y, x) = \langle A^*y, x\rangle$。此时称 $A^*$ 为 $A$ 的伴随算子，有 $\langle Ax, y\rangle = \langle x, A^*y\rangle$。

如果 $A = A^*$，称 $A$ 为自伴算子。

例子：$H_1 = H_2 = \mathbb K^n$，$\langle (x_1, \dots, x_n)^t, (y_1, \dots, y_n)^t \rangle = \sum_{i = 1}^n x_i\bar y_i = x^t\bar y$。此时 $(Ax)^t\bar y = x^tA^t\bar y = x^t \overline{A^* y}$，因此 $A^t\bar y = \overline{A^*y}$，从而 $A^*y = (\bar A)^ty$，即 $A^* = (\bar A)^t$，伴随算子和原来的算子是取共轭转置的关系。

伴随算子的性质：$H_1, H_2$ 为 Hilbert 空间。

$A_1, A_2 \in B(H_1, H_2)$，$\lambda_1, \lambda_2 \in \mathbb K$。则 $(\lambda_1 A_1 + \lambda_2 A_2)^* = \bar \lambda_1 A_1 + \bar \lambda_2 A_2$。
$A \in B(H_1, H_2)$，$A^* \in B(H_2, H_1)$，则 $A^{**} = A$。
$\forall A \in B(H_1, H_2)$，则 $\Vert AA^*\Vert = \Vert A^*A\Vert = \Vert A\Vert ^2$。实际上，$\Vert A\Vert = \Vert A^*\Vert $。
$A = 0 \Leftrightarrow A^*A = 0$。
$A\in B(H_1, H_2), B \in B(H_2, H_3)$，$(BA)^* = A^*B^*$。

设 $H_1, H_2$ 为 Hilbert 空间，若存在 $T: H_1 \to H_2$ 为线性双射， $\Vert Tx\Vert _2 = \Vert x\Vert _1$，则称 $H_1, H_2$ 为等距同构。此时称 $T$ 为酉算子。

此时有（利用极化恒等式）

$$ \langle Tx, Ty \rangle_2 = \langle x, y \rangle_1 $$

定理：设 $H_1, H_2$ 为 Hilbert 空间，$T: H_1 \to H_2$ 为线性双射，则 $T$ 为酉算子当且仅当 $T^*T = I_{H_1}, TT^* = I_{H_2}$。

必要性：若 $T$ 为酉算子，则

$$ \langle Tx, Ty \rangle = \langle T^*Tx, y \rangle = \langle x, y\rangle\\ \Rightarrow \langle (T^*T - I_{H_1})x, y\rangle = 0 $$

因此 $T^*T = I_{H_1}$，$T$ 为双射所以 $T^* = T^{-1}$。因此 $TT^* = TT^{-1} = I_{H_2}$。

充分性：若 $T^*T = I_{H_1}, TT^* = I_{H_2}$，则

$$ \langle Tx, Ty\rangle = \langle T^*Tx, y \rangle = \langle x, y\rangle $$

因此 $T$ 为酉算子。

赋范空间中的基本定理

Hahn-Banach 定理

$X \ne \varnothing$，设 $X$ 某些元素之间有 “$\le$”：

$\forall x \in X, x \le x$
若 $x \le y$ 且 $y \le x$，则 $x = y$。
$x \le y$ 且 $y \le z$，则 $x \le z$。

称为偏序/半序，$X$ 称为半序集。

例子：$\Omega \ne \varnothing$，$X$ 为 $\Omega$ 的所有子集，定义 $\forall A, B \in X, A\le B \Leftrightarrow A \subseteq B$。

定义：$X$ 为半序集，$Y \subset X$，$a \in X$ 为 $Y$ 的上界，若 $\forall y \in Y$ 有 $y \le a$；$b \in Y$ 为极大元，若 $y \in Y, b \le y \Rightarrow y = b$。

Zorn 引理：$X$ 为非空半序集，若 $X$ 的任意非空全序子集均有上界，则 $X$ 必有极大元。

定义：$X$ 为实线性空间，$p: X\to \R$ 为次线性泛函，若

$p(x + y) \le p(x) + p(y)$。（三角不等式）
$\forall x \in X, a \ge 0, p(ax) = ap(x)$。

实线性空间的 Hahn-Banach 定理：设 $X$ 为实线性空间，$X_0$ 为 $X$ 的线性子空间，$p: X\to \R$ 为次线性泛函，$f_0 \in X_0^*$ 为 $X_0$ 上的线性泛函，且 $\forall x \in X_0, f_0(x) \le p(x)$，则存在 $f \in X^*$ 使得 $f|_{X_0} = f_0$，且 $\forall x \in X, f(x) \le p(x)$。

复线性空间的引理：设 $X$ 为复线性空间，$f \in X^*$，则 $\text{Re }f \in X_R^*$，且任取 $x \in X$ 都有 $\text{Im }f(x) = -\text{Re} f(ix)$。反之，任给 $f_1 \in X_R^*$，若取 $f(x) = f_1(x) - if_1(ix)$，则 $f \in X^*$。

首先定义半范。设 $X$ 为线性空间，$X$ 上的函数，

$$ p: X \to \R $$

称为 $X$ 上的半范数，简称半范，若

$\forall x \in X$，$p(x) \ge 0$；
$\forall x, y \in X$，$p(x + y) \le p(x) + p(y)$；
$\forall x \in X, a \in \mathbb K$，$p(ax) = |a|p(x)$。

定理（Hahn-Banach）：设 $X$ 为线性空间，$P: X\to\R$ 为半范，$X_0$ 为 $X$ 的线性子空间，$f_0 \in X_0^*$，$\forall x \in X_0$，$|f_0(x)| |\le p(x)|$，则存在 $f \in X^*$，$f|_{X_0} = f_0$，使得 $\forall x \in X$，有 $|f(x)| \le p(x)$。

在赋范空间里，我们有下述的有界线性泛函的保范延拓定理。

定理（Hahn-Banach）：设 $X$ 为赋范空间，$X_0$ 为 $X$ 的线性子空间，$f_0 \in X_0^\prime$，则存在 $f \in X^\prime$，$f|_{X_0} = f_0$，且 $\Vert f\Vert = \Vert f_0\Vert $。

证明：$\forall x \in X$，令 $p(x) = \Vert f_0\Vert \Vert x\Vert $ 为半范，$\forall x \in X_0$，都有 $|f_0(x)| \le \Vert f_0\Vert \Vert x\Vert = p(x)$。因此存在 $f \in X^*$ 使得 $f_{X_0} = f_0$，$\forall x \in X$，$|f(x)| \le p(x) = \Vert f_0\Vert \Vert x\Vert $，因此 $f \in X^\prime$，且 $\Vert f\Vert \le \Vert f_0\Vert \le \Vert f\Vert $。

由上述定理推出（Hahn-Banach）：对于赋范空间 $X\ne \lbrace 0\rbrace$，$x_0\in X, x_0 \ne 0$，存在 $f \in X^\prime$，满足 $\Vert f\Vert = 1$，$f(x_0) = \Vert x_0\Vert $。

进而推出：

$$ \Vert x_0\Vert = \max_{f\in X^\prime, \Vert f\Vert \le 1} |f(x_0)| = \max_{f\in X^\prime, \Vert f\Vert = 1} |f(x_0)| = \max_{f \in X^\prime} \frac{|f(x_0)|}{\Vert f\Vert } $$

设 $X$ 为赋范空间，$x \in X$，$g_x(f) = f(x), (f \in X^\prime)$，其中 $g_x: X^\prime \to \mathbb K$ 映射是线性泛函。$\forall f_1, f_2 \in X^\prime$，$\lambda_1, \lambda_2 \in \mathbb K$ 使得

$$ g_x(\lambda_1 f_1 + \lambda_2 f_2) = (\lambda_1 f_1 + \lambda_2 f_2)(x) = \\ \lambda_1 f_1(x) + \lambda_2 f_2(x) = \lambda_1g_x(f_1) + \lambda_2 g_x(f_2) $$

即 $g_x \in (X^\prime)^*$。另一方面，$\Vert g_x(f)\Vert = \Vert f(x)\Vert \le \Vert x\Vert \Vert f\Vert $，因此 $g_x \in X^{\prime\prime}$。另一方面，$\Vert g_x\Vert = \sup_{f\in X^\prime, \Vert f\Vert \le 1} |g_x(f)| = \sup_{f\in X^\prime, \Vert f\Vert \le 1} |f(x)| = \Vert x\Vert $。我们可以定义

$$ C: X \to X^{\prime\prime}\\ x\mapsto g_x $$

称为典范映射，这个映射是保范的。并且 $\forall \lambda_1, \lambda_2 \in \mathbb K, x_1, x_2 \in X$，都有

$$ g_{\lambda_1x_1 + \lambda_2x_2}(f) = f(\lambda_1x_1 + \lambda_2x_2)\\ = \lambda_1f(x_1) + \lambda_2f(x_2)\\ = (\lambda_1g_{x_1} + \lambda_2g_{x_2})(f) $$

因此，$C$ 是一个线性保范映射，$\forall x \in N(C)$，则 $g_x = 0$，$\forall f \in X^\prime, f(x) = 0$，推出 $x = 0$，说明 $N(C) = \lbrace 0\rbrace $，因此 $C$ 还是单射。（实际上此时 $\Vert g_x\Vert = 0 = \Vert x\Vert $ 可证）从而 $X$ 和 $C(X)$ 等距同构，$X$ 是 $X^{\prime\prime}$ 的子空间，而后者是完备的空间（所有的对偶空间都是完备空间，因为 $X^\prime = B(X, \mathbb K)$，而 $\mathbb K$ 是完备的），一般性质更好，我们可以先把一个元素映射到 $X^{\prime\prime}$ 更方便地分析它。

如果 $C: X \to X^{\prime\prime}$ 为满射，称 $X$ 为自反的。这等价于

$$ \forall F \in X^{\prime\prime}, \exist x \in X, s.t. g_x = F $$

等价于

$$ \forall F \in X^{\prime\prime}, \exist x \in X, s.t. F(f) = f(x), \forall f \in X^{\prime} $$

若 $X$ 为自反的，则 $X$ 和 $X^{\prime\prime}$ 为等距同构的，则 $X$ 为 Banach 空间。

这三个条件是逐渐变弱的，自反能推出等距同构，但是等距同构不能推出自反。之前理解错了。

例子：若 $H$ 为 Hilbert 空间，则 $H$ 必为自反的。

证明：对任意 $\forall f \in H^\prime, \exist ! x_0 \in H$，$f(x) = \langle x, x_0 \rangle$（Riesz）。则能构造这样的映射：

$$ A: H^\prime \to H,\\ f \mapsto Af = x_0 $$

$A$ 是共轭线性的：

$$ \langle x, A(\lambda_1 f_1 + \lambda_2f_2)\rangle = (\lambda_1 f_1 + \lambda_2f_2)(x)\\ = \lambda_1 f_1(x) + \lambda_2 f_2(x) \\ = \lambda_1 \langle x, Af_1\rangle + \lambda_2 \langle x, Af_2\rangle\\ = \langle x, \bar \lambda_1 Af_1 + \bar \lambda_2 Af_2\rangle\\ \Rightarrow A(\lambda_1 f_1 + \lambda_2f_2) = \bar \lambda_1 Af_1 + \bar \lambda_2 Af_2 $$

$\forall f_1, f_2 \in H^\prime$，定义内积

$$ \langle f_1, f_2 \rangle = \langle Af_2, Af_1 \rangle $$

这个内积满足：

$$ \langle \lambda_1 g_1 + \lambda_2 g_2, g \rangle = \lambda_1 \langle g_1, g\rangle + \lambda_2 \langle g_2, g\rangle\\ \langle f_1, f_2 \rangle = \overline{\langle f_2, f_1 \rangle}\\ \langle f, f \rangle \ge 0\\ \langle f, f \rangle = 0 \Leftrightarrow f = 0 $$

$H^{\prime}$ 定义的内积导出的范数

$$ \Vert f\Vert = \langle f, f \rangle^{1/2} = \langle Af, Af \rangle^{1/2} = \Vert Af\Vert $$

因此 $H^{\prime}$ 为 Hilbert 空间，从而 $\forall F \in H^{\prime\prime}$，存在 $f_0 \in H^\prime$ 使得 $F(f) = \langle f, f_0\rangle = \langle Af_0, Af\rangle = f(Af_0), \forall f \in H^\prime$，因此 $H$ 是自反的。

例子：$1 \lt p \lt \infty$，$\ell^p$ 是自反的。首先，我们知道 $(\ell^p)^\prime = \ell^q$，$\forall f \in (\ell^p)^\prime$ 存在唯一的 $x = (x_n)_{n \ge 1} \in \ell^q$ 使得 $f(y) = \sum_{n = 1}^\infty x_n y_n, \forall y \in \ell^p$，满足 $\Vert f\Vert = \Vert x\Vert _q$。我们可以定义 $\varphi: \ell_q \to (\ell^p)^\prime, x \mapsto f$，则 $F \circ \varphi \in (\ell^q)^\prime$。$\forall F \in (\ell_q)^\prime$，存在唯一的 $y \in \ell^p$ 使得对任意 $x \in \ell_q$ 都有 $F\circ\varphi (x) = \sum_{n = 1}^\infty x_ny_n = F(f)$，根据映射 $\varphi$ 的定义，有 $f(y) = \sum_{n = 1}^\infty x_ny_n$，因此 $\ell_p$ 是自反的。

注意！这里不能用 $(\ell^p)^{\prime\prime} \approx \ell^p$ 来证明他是自反的。自反固然有 $X^{\prime\prime}\approx X$，但是自反还要求典范映射必须是满射，$X^{\prime\prime}\approx X$ 说明存在一个从 $X$ 到 $X^{\prime\prime}$ 的双射，但是并没有说典范映射是双射。

例子：设 $X$ 为有限维赋范空间，则 $X$ 必然自反。

证明：$\dim X = n \lt \infty$，则 $\dim X^\prime = n$。（取一组基 $e_1, e_2, \dots, e_n$，则可以找到它的对偶基 $\varphi_1, \varphi_2, \dots, \varphi_n$ 使得 $\varphi_i(\sum_{k = 1}^\infty\lambda_ke_k) = \lambda_i$）。因此 $\dim X^{\prime\prime} = n$。另一方面，$\dim C(X) = n$，因此 $C$ 是满射，$C$ 本来就是单射，从而 $C(X) = X^{\prime}$。

例子：$c_0, \ell_1, \ell_\infty$ 不是自反的。$(C[a, b], \Vert \cdot\Vert _\infty)$ 不自反。

定理（Hahn-Banach）：设 $X$ 为赋范空间，$Y$ 为 $X$ 的闭线性子空间，$Y \subsetneq X, x_0 \in X\setminus Y$，$\delta = \rho(x_0, Y) = \inf_{y \in Y} \Vert x_0 - y\Vert $，则存在 $f \in X^{\prime}$，$\Vert f\Vert = 1$，$f|_Y = 0$，$f(x_0) = \delta$。

推论：若 $X$ 为赋范空间，设 $X^{\prime}$ 为可分的，则 $X$ 必为可分的。

先证明引理：$(X, d)$ 为可分的，$Y \subset X$，则 $Y$ 必为可分的。

证明：$\forall x_1, x_2, \dots \in X$，$\overline\lbrace x_1, x_2, \dots\rbrace = X$，$\forall i, j \ge 1$，若 $B(x_i, \frac1j) \cap Y \ne \varnothing$，取 $y_{ij} \in B(x_i, \frac1j) \cap Y$。这样的 $y_{ij}$ 构成的集合是稠密的，因为$\forall y \in Y$，$\varepsilon \gt 0$，存在 $j \in \N, \frac2j \lt \varepsilon$，使得 $B(y, \frac1j) \cap \lbrace x_1, x_2, \dots\rbrace \ne \varnothing$，存在 $i \ge 1$，使得 $x_i \in B(y, \frac1j), y \in B(x_i, \frac1j)$，因此 $y \in B(x_i, \frac1j) \cap Y$，此时 $d(y, y_{ij}) \lt \frac2j \lt \varepsilon$，得证。

证明推论：$X^\prime$ 可分，定义 $S = \lbrace f \in X^\prime: \Vert f\Vert = 1\rbrace $，则 $S$ 必定可分。

设 $f_1, f_2, \dots \in S, \overline{\lbrace f_1, f_2, \dots \rbrace } = S$，$\forall i \ge 1, \Vert f_i\Vert = 1 = \sup_{x \in X, \Vert x\Vert = 1}|f_i(x)|$，$\exist x_i \in X$，使得 $\Vert x_i\Vert = 1, |f_i(x_i)| \ge \frac12, Y = \overline{\text{span }\lbrace x_1, x_2, \dots\rbrace }$，下证 $Y = X$。

若不对，则 $Y \subsetneq X$，存在 $f \in X^\prime, \Vert f\Vert = 1$ 即 $f \in S, f|_Y = 0, \forall i \ge 1$，使得

这就说明 $f\not\in \overline{\lbrace f_1, f_2, \dots \rbrace } = S$，矛盾。因此 $Y = X$。

下面证明 $Y$ 可分。当 $\mathbb K = \R$ 时可以取 $M_n = \lbrace \sum_{i = 1}^n \lambda_ix_i: n \ge 1, \lambda_i \in \mathbb Q\rbrace $，$M = \cup_{n = 1}^\infty M_n$，则存在映射 $T: \mathbb Q^n \to M_n, (\lambda_1, \dots, \lambda_n)\mapsto \sum_{i = 1}^n \lambda_ix_i$，这是一个满射，因此 $M_n$ 为可数集，因此 $M$ 可数。下面只要证明 $\bar M = Y$。$\forall x \in X, \varepsilon \gt 0$，存在 $y \in \text{span }\lbrace x_1, x_2, \dots\rbrace $，$\Vert x - y\Vert \lt \varepsilon / 2$，$y = \sum_{i = 1}^n \lambda_ix_i, \lambda_i \in R$，存在 $\mu_i \in \mathbb Q$，使得 $\Vert \sum_{i = 1}^n \lambda_ix_i - \sum_{i = 1}^n \mu_ix_i\Vert \lt \varepsilon / 2$，因此 $\Vert x - \sum_{i = 1}^n \mu_ix_i\Vert \lt \varepsilon$。这就证明了 $\bar M = Y$，因此 $Y$ 是可分的。

根据上面的推论，如 $\ell^1$ 是自反的，则 $(\ell^1)^{\prime\prime} \approx \ell^1$ 是可分的，因此 $(\ell^\infty)^{\prime} \approx \ell^1$ 是可分的，矛盾！因此 $\ell^1$ 不是自反的。

如果 $c_0$ 是自反的，则 $(c_0)^{\prime\prime} \approx (\ell^1)^\prime \approx \ell^\infty \approx c_0$，但是 $\ell^\infty$ 是不可分的，$c_0$ 是可分的，这两个并不同构，矛盾！因此 $c_0$ 不是自反的。

$\ell^\infty$ 也不是自反的，要用到下面的结论：

结论：若 $X$ 为 Banach 空间，则 $X$ 自反等价于 $X^\prime$ 自反。这个结论证明较为复杂。

例子：$a \lt b, X = C[a, b]$，证明 $(C[a, b], \Vert \cdot\Vert _{\infty})$ 不自反。

由于 $C[a, b]$ 为可分的，假设 $C[a, b]$ 是自反的，$(C[a, b])^{\prime\prime} = (C[a, b]^\prime)^\prime = C[a, b]$，说明 $C[a, b]^\prime$ 是可分的，下面证明 $C[a, b]^\prime$ 不可分即可。

$\forall a \le t \le b$，定义 $\delta_t(x) = x(t)$，则 $\delta_t \in C[a, b]^\prime, \Vert \delta_t\Vert = 1$，$\forall a \le s, t \le b, s\ne t$，则 $\Vert \delta_s - \delta_t\Vert = 2$，因为存在 $x \in C[a, b]$，$-1 \le x(t) \le 1$，使得 $x(s) = 1, x(t) = -1$，则 $\Vert x\Vert _\infty = 1, (\delta_s - \delta_t)(x) = x(s) - x(t) = 2$，因此 $ \Vert \delta_s - \delta_t\Vert \ge 2$，且 $\Vert \delta_s - \delta_t\Vert \le \Vert \delta_s\Vert + \Vert \delta_t\Vert = 2$。

接下来，考虑 $N = \lbrace \delta_t: a \le t \le b\rbrace \subset C[a, b]^\prime$，是不可数的，因为 $\varphi: [a, b] \to N, t \mapsto \delta_t$ 是一个双射。

设存在某个 $M \subset C[a, b]^\prime, \bar M = C[a, b]$，$\forall a \le t \le b, \delta_t \in N$，$\exist x_t \in M$ 使得

$$ \Vert \delta_t - x_t\Vert \lt \frac12 $$

可以构造映射 $T: N\to M, \delta_t \mapsto x_t$ 为单射，因为若 $s \ne t$，$\Vert \delta_t - \delta_s\Vert = 2$，则 $2 = \Vert \delta_s - \delta_t\Vert \le \Vert \delta_s - x_s\Vert + \Vert x_s - x_t\Vert + \Vert x_t - \delta_t\Vert \lt 1 + \Vert x_s - x_t\Vert $，从而 $\Vert x_s - x_t\Vert \gt 1$，说明 $x_s \ne x_t$。单射可以推出 $M$ 不是可数的。因此 $C[a, b]^\prime$ 上的任意稠密子集都是不可数的，从而 $C[a, b]^\prime$ 不可分。

$C[a, b]$ 为啥是可分的？

现在要来回答这个问题：$(C[a, b], \Vert \cdot\Vert _\infty)^\prime = ?$

定义 $\omega: [a, b]\to \mathbb K$ 为有界变差函数，若存在 $c \ge 0$，$\forall a = t_0\lt t_1 \lt t_2 \lt \dots \lt t_n = b$，

$$ \sum_{i = 0}^{n - 1}|w(t_{i+1}) - w(t_i)| \le c $$

称 $\omega \in BV[a, b]$。定义

$$ Var_{[a, b]}(\omega) = \sup \sum_{i = 0}^{n - 1}|w(t_{i+1}) - w(t_i)| $$

范数

$$ \Vert w\Vert _{BV} = Var_{[a, b]}(\omega) + |w(a)| $$

则 $(BV[a, b], \Vert \cdot\Vert _{BV})$ 为 Banach 空间。

$\forall x \in C[a, b], \omega \in BV[a, b], \mathcal P: a = t_0 \lt t_1 \lt \dots \lt t_n = b$，则

$$ S(x, \omega, \mathcal P) = \sum_{i = 0}^{n - 1} x(t_i)(w(t_{i + 1}) - w(t_i)) $$

则当 $#(\mathcal P) \to 0$，$S(x, \omega, \mathcal P)$ 收敛到 $\int_a^bx(t)\mathrm d\omega(t)$，称为黎曼-斯蒂杰积分。

$$ |S(x, \omega, \mathcal P)| \le \sum_{i = 0}^{n - 1} |x(t_i)||w(t_{i + 1}) - w(t_i)| \le Var_{[a, b]}(\omega) \Vert x\Vert _\infty $$

可以证明它的线性性：

$$ \int_a^b(\lambda x + \mu y)(t)\mathrm d\omega(t) = \lambda \int_a^bx(t)\mathrm d\omega(t) + \mu \int_a^by(t)\mathrm d\omega(t) \\ \int_a^bx(t)\mathrm d(\lambda \omega_1 + \mu\omega_2) = \lambda \int_a^bx(t)\mathrm d\omega_1(t) + \mu \int_a^by(t)\mathrm d\omega_2(t) $$

对于所有的 $\omega \in BV[a, b]$，定义 $\varphi_\omega: C[a, b]\to \mathbb K, x \mapsto \int_a^b x(t)\mathrm d\omega(t), \Vert \varphi_\omega\Vert \le Var_{[a, b]}(\omega)$。

定理：$\forall \varphi \in C[a, b]^\prime$，则 $\exist! \omega \in BV[a, b], \varphi = \varphi_\omega, \omega(a) = 0$，使得 $\varphi(x) = \int_a^b x(t)\mathrm d\omega(t)$，且 $\Vert \varphi\Vert = Var_{[a, b]}(\omega)$。

证明：$B[a, b]$ 为 $[a, b]$ 上的有界函数，$\Vert x\Vert = \sup_{a \le t \le b}|x(t)|$，$(B[a, b], \Vert \cdot\Vert )$ 为 Banach 空间。

$C[a, b] \subset B[a, b]$，由 Hahn-Banach 定理，存在 $\varphi_0 \in B[a, b]^\prime$，$\varphi_0|_{C[a, b]} = \varphi$，$\Vert \varphi_0\Vert = \Vert \varphi\Vert $。

$\forall a \lt t \le b$，定义

$$ \eta_t(s) = \begin{cases} 1, a \le s \le t,\\ 0, t \lt s \le b \end{cases} $$

则 $\eta_t(s) \in B[a, b]$

取 $\omega$ 使得 $\omega(a) = 0, \forall a \lt t \le b, \omega(t) = \varphi_0(\eta_t)$。下证 $\omega \in BV[a, b]$。设 $\mathcal P: a = t_0 \lt t_1 \lt \dots \lt t_n = b$，…，因此 $\omega \in BV[a, b]$。

$z_x = x(a)\eta_{t_1} + \sum_{i = 1}^{n - 1}x(t_i)(\eta_{t_{i+1}} - \eta_{t_{i}})$。可以证明 $\varphi_0(z_x) = S(x, \omega, \mathcal P)$，当 $#P \to 0$ 时，$\int_a^bx(t)\mathrm d\omega(t) \to \varphi_0(x) = \varphi(x)$。

一致有界性定理

又称为共鸣定理，Banach-Steinhauss 定理。

设 $(X, d)$ 为度量空间，$M \subset X$ 为无处稠密，若 $\bar M$ 无内点。

$M$ 为第一范畴（第一纲），若 $\exist M_n \subset X$ 为无处稠密的，使得 $M = \bigcup_{n = 1}^\infty M_n$，若 $M$ 不为第一范畴的，则称 $M$ 为第二范畴。

例子：$X = \R$，$d(s, t) = |s - t|$，$M = \Z, \bar M = \Z$ 无内点，因此 $M$ 是无处稠密的。

定理（Baire 范畴定理）：设 $(X, d)$ 为非空完备度量空间，则 $X$ 必为第二范畴的。

例子：$X = \Z$，是第二范畴的。

证明：反证法，假设 $X$ 是第一范畴的，设 $\exist M_n \subset X$ 无处稠密，$X = \bigcup_{n=1}^\infty M_n$（$\bar M_n$ 无内点），而 $M_n \subset \bar M_n \subset X$，因此 $X = \bigcup_{n=1}^\infty \bar M_n$。因此，不妨设 $X = \bigcup_{n=1}^\infty M_n$，其中 $M_n$ 是闭且无内点的。

由于 $X \ne \varnothing$，$X$ 有内点，而 $M_1$ 无内点，因此 $M_1 \subsetneq X$，说明 $X \setminus M_1 \ne \varnothing$，由于 $M_1$ 是闭集，因此 $X \setminus M_1$ 是开集，存在 $p_1 \in X \setminus M_1$，存在 $\varepsilon \lt \frac12$ 使得 $B(p_1, \varepsilon_1) \subset X \setminus M_1$，因此 $B(p_1, \varepsilon_1) \cap M_1 = \varnothing$。

接下来要构造一系列的，逐个包含的开球。由于 $M_2$ 无内点，因此 $M_2$ 不可能完全包含 $B(p_1, \frac{\varepsilon_1}{2})$，也即 $M_2^c \cap B(p_1, \frac{\varepsilon_1}{2}) \ne \varnothing$。存在 $p_2, \varepsilon_2 \lt 1/2^2$，使得 $B(p_2, \varepsilon_2) \subset M_2^c \cap B(p_1, \frac{\varepsilon_1}{2})$。此时 $B(p_2, \varepsilon_2) \cup M_1 \ne \varnothing, B(p_2, \varepsilon_2) \cup M_2 \ne \varnothing$。

$M_3$ 无内点，基于同样的理由 $M_3^c \cap B(p_2, \frac{\varepsilon_2}{2}) \ne \varnothing$，存在 $p_3, \varepsilon_3 \lt \frac1{2^3}$，使得 $B(p_3, \varepsilon_3) \subset M_3^c \cap B(p_2, \frac{\varepsilon_2}{2})$，此时 $B(p_3, \varepsilon_3) \cup M_1 \ne \varnothing, B(p_3, \varepsilon_3) \cup M_2 \ne \varnothing, B(p_3, \varepsilon_3) \cup M_3 \ne \varnothing$。

如此下去，存在 $p_n \in X, \varepsilon_n \lt \frac1{2^n}$，使得

$$ B(p_n, \varepsilon_n) \subset M_n^c \cap B(p_{n-1}, \frac{\varepsilon_{n-1}}{2})\\ B(p_n, \varepsilon_n) \cap M_i = \varnothing, 1 \le i \le n $$

因此，$\forall m \ge 1$，都有 $p_{n + m} \subset B(p_n, \frac{\varepsilon_n}{2})$，因此 $d(p_{m + n}, p_n) \lt 1/2^{n+1}$，这说明 $p_n \in X$ 为柯西列，根据完备性， $p_n \to p \in X$，此时 $p \subset \overline{B(p_n, \frac{\varepsilon_n}{2})}\subset B(p_n, \varepsilon_n)$，因此 $p \not\in M_n$，从而 $p \not\in \bigcup_{n=1}^\infty M_n = X$，矛盾！这说明 $X$ 是第二范畴的。

定理（一致有界性原理）：设 $X$ 为 Banach 空间，$Y$ 为赋范空间，设 $\mathcal E \subset B(X, Y)$，$\forall x \in X$，存在 $c_x \ge 0$ 使得 $\forall T \in \mathcal E, \Vert Tx\Vert \le c_x$（点点有界），则 $\exist c \ge 0$，$\forall T \in \mathcal E, \Vert T\Vert \le c$，即 $\mathcal E$ 在 $\bar B_X(0, 1)$ 上一致有界。

证明：$n \ge 1$，$A_n = \lbrace x \in X: \forall T \in \mathcal E, \Vert Tx\Vert \le n\rbrace $，$\forall x \in X$，存在 $c_x \ge 0$，使得 $\forall T \in \mathcal E, \Vert Tx\Vert \le c_x$，若 $c_x \le n$，则 $x \in A_n$，$X \subset \bigcup_{n = 1}^\infty A_n$，因此 $X = \bigcup_{n = 1}^\infty A_n$。因为 $X$ 是非空完备的，因此 $X$ 必为第二范畴，因此存在 $n \ge 1$ 使得 $\bar A_n$ 有内点。

$\forall x_k \in A_n$，设 $x_k \to x$，则 $\Vert Tx_k\Vert \to \Vert Tx\Vert $，因此 $x \in A_n$，说明 $A_n$ 是闭集，因此 $A_n$ 有内点，存在 $x_0 \in X$，$\exist r \gt 0$，使得 $B(x_0, r) \subset A_n$，$\forall x \in X, \Vert x\Vert \le 1$，都有 $\Vert \frac r2x \Vert \le \frac r2 \lt r$。因此 $x_0, x_0 + \frac{r}2 x \in B(x_0, r)$，从而 $\forall T \in \mathcal E, \Vert Tx_0\Vert \le n, \Vert T(x_0 + \frac r2x)\Vert \le n$，因此

$$ \Vert \frac r2 Tx\Vert \le \Vert T(x_0 + \frac r2 x)\Vert + \Vert Tx_0\Vert \le 2n $$

这就说明 $\Vert Tx\Vert \le \frac {4n}r$，说明 $\Vert T\Vert \le \frac{4n}r$，因此存在这样的常数 $C = \frac{4n}r$ 使得 $\forall T \in \mathcal E, \Vert T\Vert \le C$。

逆否命题：若 $\mathcal E \subset B(X, Y)$，$\sup_{T\in \varepsilon} \Vert T\Vert = +\infty$，则 $\exist x \in X$ 使得 $\sup_{T\in \mathcal E}\Vert Tx\Vert = +\infty$。

上述 $x$ 称为 $\mathcal E$ 的共鸣点。

例子：$X$ 为所有多项式，$p \in X$，$p(t) = a_0 + a_1t + \dots + a_nt^n$，定义 $\Vert p\Vert = \max_{0 \le i \le n}|a_i|$，则 $(X, \Vert \cdot\Vert )$ 为赋范空间，此时定义泛函 $\phi_m(p) = a_0 + a_1 + \dots + a_m$，$\phi_m \in X^*$，则 $|\varphi_m(p)| \le (m+1)\Vert p\Vert $，说明 $\varphi_m \in X^\prime$，$\Vert \varphi_m\Vert = m+1$。

考虑 $p_n(t) = 1 + t + \dots + t^n$，则 $\Vert p_n\Vert = 1$，但是 $\varphi_n(p) = n + 1$，从而 $\Vert \varphi_n\Vert = n + 1$，因此 $\sup \Vert \varphi_m\Vert = +\infty$，点点有界不能推出一致有界，这是因为 $X$ 不是 Banach 空间。为此我们可取

$$ p_n(t) = 1 + \frac12 t + \frac13 t^2 + \dots + \frac{1}{n+1}t^n $$

$$ \Vert p_{n + m} - p_n\Vert = \frac{1}{n + 2} \to 0 $$

说明 $p_n$ 为柯西列，但是若设 $p_n \to p \in X$，使得 $p(t) = a_0 + a_1t + \dots + a_nt^N$，但是 $\forall n \gt N$，$\Vert p_n - p\Vert \ge \frac{1}{N+2}$，矛盾！因此这个序列不收敛。

例子：$C[0, 2\pi] = \lbrace f: [0, 2\pi] \to \R, f 连续\rbrace $,$\Vert f\Vert _\infty = \max_{0 \le t \le 2\pi}|f(t)|$，为 Banach 空间。

$X = C_{per}[0, 2\pi] = \lbrace f \in C[0, 2\pi]: f(0) = f(2\pi)\rbrace $，$X$ 为 $C[0, 2\pi]$ 上的闭线性子空间，因为 $f_n \in X, f_n \to f$ 必有 $f(0) = f(2\pi)$，从而 $f \in X = C_{per}[0, 2\pi]$。可以定义

$$ a_m(f) = \frac1\pi\int_0^{2\pi}f(t)\sin (mt)\mathrm dt\\ b_m(f) = \frac1\pi\int_0^{2\pi}f(t)\cos (mt)\mathrm dt\\ b_0(f) = \frac1{2\pi}\int_0^{2\pi}f(t)\mathrm dt\\ $$

定义

$$ \begin{aligned} \varphi_N(f) &= \sum_{m = 0}^Nb_m(f)\\ &= \frac1{2\pi}\int_{0}^{2\pi}f(t)\mathrm dt + \frac1\pi\sum_{m = 1}^N\int_{0}^{2\pi}f(t)\cos(mt)\mathrm dt\\ &= \frac1{2\pi}\int_{0}^{2\pi}f(t)\left(1 + 2\sum_{m = 1}^N\int_{0}^{2\pi}f(t)\cos(mt)\right)\mathrm dt\\ &= \frac1{2\pi}\int_{0}^{2\pi}f(t)\frac{\sin(N + \frac12)t}{\sin\frac12t}\mathrm dt\\ &= \int_{0}^{2\pi}f(t)Q_N(t)\mathrm dt, Q_N = \frac1{2\pi}\frac{\sin(N + \frac12)t}{\sin\frac12t}\\ \end{aligned} $$

则 $\varphi_N \in X^*$，另一方面

$$ |\varphi_N(f)| \le \int_0^{2\pi}|Q_N(t)||f(t)| \mathrm dt \le \int_0^{2\pi} |Q_N(t)|\mathrm dt \Vert f\Vert _\infty $$

因此 $\varphi_N \in X^\prime, \Vert \varphi_N\Vert \le \int_0^{2\pi}|Q_N(t)|\mathrm dt$

此时

$$ \int_0^{2\pi} |Q_N(t)|\mathrm dt = \int_0^{2\pi} Q_N(t)\varepsilon_N(t)\mathrm dt $$

存在 $w_N \in C_{per}[0, 2\pi]$ 使得

$$ |\int_0^{2\pi} Q_N(t)(\varepsilon_N(t) - w_N(t))\mathrm dt| \lt \varepsilon $$

其中 $w_N(t) \in [-1, 1], \Vert w_N\Vert _\infty \le 1$。

此时

$$ \varphi_N(w_N) = \int_0^{2\pi} Q_N(t)w_N(t)\mathrm dt \\ \gt \int_0^{2\pi} Q_N(t)\varepsilon_N(t)\mathrm dt - \varepsilon \\ = \int_0^{2\pi} |Q_N(t)|\mathrm dt - \varepsilon $$

因此 $\Vert \varphi_N\Vert \ge \int_0^{2\pi} |Q_N(t)|\mathrm dt$，综合起来可以得到

$$ \Vert \varphi_N\Vert = \int_0^{2\pi} |Q_N(t)|\mathrm dt \\ = \frac1{2\pi}\int_0^{2\pi} \left|\frac{\sin(N + \frac12)t}{\sin\frac12t}\right|\mathrm dt \\ \ge \frac1{\pi}\int_0^{2\pi} \left|\frac{\sin(N + \frac12)t}{(N + \frac12)t}\right|\mathrm d\left(N + \frac12\right)t \\ = \frac{1}{\pi}\int_0^{2N\pi + \pi}\frac{|\sin S|}{|S|} \mathrm dS\\ = \frac{1}{\pi}\sum_{k = 0}^{2N}\int_{k\pi}^{(k+1)\pi}\frac{|\sin S|}{|S|}\mathrm dS\\ \ge \frac{1}{\pi}\sum_{k = 0}^{2N}\int_{k\pi + \pi/4}^{k\pi + 3\pi/4}\frac{|\sin S|}{|S|}\mathrm dS\\ \ge \frac1\pi\frac{\sqrt2}2\sum_{k = 0}^{2N}\frac{\pi/2}{k\pi+3\pi/4} $$

因此 $\sup_{N\ge1}\Vert \varphi_N\Vert = +\infty$，根据共鸣定理，存在 $f \in C_{per}[0, 2\pi]$，使得

$$ \sup_{N \ge 1}|\varphi_N(f)| = +\infty $$

弱收敛

定义：$X$ 为赋范空间，$x_n ,x \in X$，称 $x_n \to x$，若 $\Vert x_n - x\Vert \to 0$，为 $x_n$ 依范数收敛到 $x$。（强收敛）

定义：称 $x_n$ 弱收敛到 $x$，若 $\forall f \in X^\prime$，$f(x_n) \to f(x)$，记为 $x_n\rightharpoonup x$，或者 $x_n \stackrel{w}{\to} x$。

定理：若 $x_n \stackrel{w}{\to} x$，则

(1) $x$ 唯一

(2) $\exist c \ge 0, \Vert x_n\Vert \le c$

证明：(1) 假设 $x_n \stackrel{w}{\to} x, x_n \stackrel{w}{\to} y$，则 $\forall f \in X^\prime$，都有

$$ f(x_n) \to f(x)\\ f(x_n) \to f(y)\\ f(x - y) = 0\\ \Rightarrow x = y $$

最后一条由 Hahn-Banach 定理给出。

(2) 考虑典范映射 $C: X\to X^{\prime\prime}$。

$$ J(x_n)(f) = f(x_n) \to f(x) $$

因此 $\sup_{n\ge1}|J(x_n)(f)| \lt \infty$。由于 $X^\prime$ 总为 Banach 空间，因此利用一致有界性原理可得

$$ \sup_{n\ge 1}\Vert J(x_n)\Vert \lt \infty $$

因此 $\sup_{n\ge 1}\Vert x_n\Vert = \sup_{n\ge 1}\Vert J(x_n)\Vert \lt \infty$。

定理：

(1) 若 $x_n \to x$，即 $\Vert x_n - x\Vert \to 0$，则 $x_n \stackrel{w}{\to} x$。

(2) 若 $\dim{X} = k \lt \infty$，则弱收敛等价于强收敛。

证明：(1) $\forall f \in X^\prime$，

$$ |f(x_n) - f(x)| \le \Vert f\Vert \Vert x_n - x\Vert $$

即 $x_n \stackrel{w}{\to} x$。

(2) 若 $x_n \stackrel{w}{\to} x$。假设 $e_1, \dots e_k$ 为一组 Hamel 基，则

$$ x_n = \sum_{i = 1}^k x_i^{(n)}e_i\\ x = \sum_{i = 1}^k \alpha_ie_i\\ $$

构造对偶基 $\varphi_i \in X^\prime$，则

$$ \varphi_i(x_n) \to \varphi_i(x)\\ x_i^{(n)} \to \alpha_i\\ \Rightarrow \Vert x_n - x\Vert \to 0 $$

因此强收敛。

例子：$X = \ell^1$，强收敛与弱收敛等价？

例子：$H$ 为希尔伯特空间，则弱收敛等价于 $\forall y \in H, \langle x_n, y\rangle \to \langle x, y\rangle$，也就是内积的连续性。

例子：$X = \ell^2$，$\langle x, y \rangle = \sum_{n = 1}^\infty x_n\bar y_n$。则 $e_n \stackrel{w}{\to} 0$，因为 $\forall y \in H, \langle e_n, y\rangle = \bar y_n \to 0$。但是，$\Vert e_n\Vert = 1$，如 $e_n \to z$，则 $e_n \stackrel{w}{\to} z$，从而 $z = 0$，$\Vert e_n\Vert \to \Vert z\Vert = 0$，矛盾！因此 $\Vert e_n\Vert $ 不依范数收敛。

定理：赋范空间 $X$，$x_n\stackrel{w}{\to} x$ 等价于下面两个条件成立：

(1) 存在 $c \ge 0$，使得 $\Vert x_n\Vert \le c$；

(2) 存在 $M \subset X^\prime, \overline{\text{span }M} = X^\prime$，$\forall f \in M$，$f(x_n) \to f(x)$。

证明：从左到右已经证明过了。从右到左，如果 (1)(2) 成立， $\forall f \in \text{span }M$，$f = \alpha_1f_1 + \dots + \alpha_kf_k$，因此

$$ f(x_n) = \alpha_1f_1(x_n) + \dots + \alpha_kf_k(x_n) \\ \to \alpha_1f_1(x) + \dots + \alpha_kf_k(x)\\ = (\alpha_1f_1 + \dots + \alpha_kf_k)(x) = f(x) $$

$\forall f \in X^\prime$，存在 $f_k \in \text{span }M$ 使得 $\Vert f - f_k\Vert \lt \frac1k$

因此

$$ \Vert f(x_n) - f(x)\Vert \le \Vert f - f_k\Vert (\Vert x_n\Vert + \Vert x\Vert ) + |f_k(x_n) - f_k(x)|\\ \le \Vert f - f_k\Vert (C + \Vert x\Vert ) + |f_k(x_n) - f_k(x)| $$

存在 $k, n$ 使得 $\Vert f - f_k\Vert (C + \Vert x\Vert ) \lt \varepsilon/2$，$|f_k(x_n) - f_k(x)| \lt \varepsilon / 2$，因此 $f(x_n) \to f(x)$，即弱收敛成立。

例子：$1 \lt p \lt \infty$，$X = \ell^p$，$X^\prime \approx \ell^q$，取 $M = \lbrace e_i: i\ge1\rbrace $，则 $\overline{\text{span } M} = \ell^q$。定义 $\varphi_i((y_k)_{k\ge1}) = y_i$，根据上述定理可知，$x_n$ 弱收敛到 $x$ 当且仅当 $\sup_{n\ge1}\Vert x_n\Vert \lt +\infty$ 且 $x_n$ 依坐标收敛到 $x$。

算子的弱收敛：

$X, Y$ 为赋范空间，$T_n \in B(X, Y)$，$T: X\to Y$ 线性算子，

(1) 称 $T_n$ 一致收敛到 $T$，若 $\Vert T_n - T\Vert \to 0$；

(2) $T_n$ 强收敛到 $T$，若 $\forall x \in X$，$T_nx\to Tx$；

(3) $T_n$ 弱收敛到 $T$，若 $\forall x \in X, \forall f \in Y^\prime$，都有 $f(T_nx) \to f(Tx)$。

性质：极限唯一，且一致收敛推出强收敛，强收敛推出弱收敛。

例子：$X = Y = \ell^2$，定义 $T_n: \ell^2 \to \ell^2, (x_1, x_2, \dots)\mapsto (0, \dots, 0, x_{n+1}, x_{n+2}, \dots)$，其中前 $n$ 项为 $0$。

$\forall x \in \ell^2$，$T_n x \to 0 = 0x$，因此 $T_n$ 强收敛到 $0$，假设 $T_n$ 一致收敛到 $T$，则 $T\in B(\ell^2)$，则 $T_n$ 强收敛到 $T$，唯一性可得 $T = 0$，则 $\Vert T_n - T\Vert = \Vert T_n\Vert = \Vert T\Vert = 1 \not \to 0$，矛盾！因此强收敛未必一致收敛。

例子：$T_n: \ell^2 \to \ell^2, (x_1, x_2, \dots) \mapsto (0, \dots, 0, x_1, x_2, \dots)$，则 $\Vert T_nx\Vert = \Vert x\Vert $，因此 $\Vert T_n\Vert = 1$。$\forall x = (x_k)_{k\ge1} \in \ell^2, \forall \varphi \in (\ell^2)^\prime$，存在唯一的 $z \in \ell^2$ 使得

$$ \varphi(y) = \sum_{i = 1}^\infty y_i\bar z_i $$

则

$$ \varphi(T_nx) = \sum_{i = 1}^\infty x_i\bar z_{i + n}\\ |\varphi(T_nx)| \le (\sum |x_i|^2)^{1/2}(\sum |z_{i+n}|^2)^{1/2} \to 0 $$

因此 $T_n$ 弱收敛到 0，若 $T_n$ 强收敛到 $T$，则 $T = 0$，$\Vert T_n x - 0 x\Vert = \Vert x\Vert \not \to 0$ ，矛盾！因此弱收敛未必强收敛。