浅谈内积空间

大家好，欢迎来到IT知识分享网。

首先，介绍线性空间和度量空间，分别具有代数结构和拓扑结构；
其次，介绍兼有两种结构的赋范线性空间；
然后，介绍内积空间，作为赋范线性空间的特例；
最后，给出一个例子: $R^n$.

一、线性空间

  什么是空间？In mathematics, a space is a set with some added structure.(@Wikipedia)
  空间 = 集合 + 结构，线性空间就是给集合穿上线性结构的外衣.
  那什么是线性结构呢？线性结构 = 加法 + 数乘.
  下面给出线性空间的定义：
  首先得有一个集合，记为 $V$，在 $V$ 中定义了元素的加法运算 $+:V\times V\to V$，即 $\forall x,y\in V$，在 $V$ 中都有唯一的一个元素 $\gamma$ 与之对应，称为 $x$ 与 $y$ 的 和，记为 $x+y$.
  第二个运算是数乘，数乘就是用一个数去”乘”，这个数从哪里来呢？答案是数域 $F$. 数乘运算 $\cdot :F\times V\to V$，$\forall a\in F,x\in V$，在 $V$ 中都有唯一的一个元素 $\delta$ 与之对应，称为 $a$ 与 $x$ 的 数量乘积，记为 $ax$.
  光有运算是不够的，这两种运算还要满足以下八条性质.

加法：

 $1.x+(y+z)=(x+y)+z$
 $2.x+y=y+x$
 $3.Thereexistsanelement$ $0$ $\in V,suchthatx+$ $0$ $=x,\forall x\in V$.
 $4.\forall x\in V,thereexistsanelement-x\in V,suchthatx+(-x)=$ $0$.

数乘 $(a,b\in F)$：

 $5.1x=x$
 $6.(ab)x=a(bx)$

加法和数乘：

 $7.(a+b)x=ax+bx$
 $8.a(x+y)=ax+ay$

  如果这些条件都满足，则称 $V$ 为数域 $F$ 上的线性空间或向量空间，其中的元素称为向量.

二、度量空间

  度量空间 = 集合 + 拓扑结构
  仍是先给定一个集合 $V$，然后在 $V$ 上定义一种运算，叫距离 $d:V\times V\to R$，即 $\forall x,y\in V$，在 $R$ 中都有唯一的一个元素 $\delta$ 与之对应，称为 $x,y$ 之间的 距离，记为 $d(x,y)$，且满足以下性质：

 $1.d(x,y)\ge 0,\forall x,y\in V$且$d(x,y)=0\iff x=y$
 $2.d(x,z)\le d(x,y)+d(y,z)$

则称 $(V,d)$ 为度量空间或距离空间，其中的元素称为点.

三、赋范线性空间

  赋范线性空间 = 线性空间 + 范数，即给线性空间穿上拓扑结构的外衣.
  设 $V$ 是实线性空间，即对应数域为 $R$，在其上定义范数运算 $\Vert \cdot \Vert :V\to R$，即 $\forall x\in V$，在 $R$ 中都有唯一的一个元素 $\delta$ 与之对应，称为向量 $x$ 的 范数，记为 $\Vert x\Vert$，且满足以下性质：

 $1.\Vert x\Vert \ge 0$且$\Vert x\Vert =0\iff x=0$
 $2.\Vert ax\Vert =|a|\Vert x\Vert ,a\in R$
 $3.\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert ,x,y\in V$

则称 $(V,\Vert \cdot \Vert )$ 为赋范线性空间.
下面根据范数定义距离，令 $d(x,y)=\Vert x-y\Vert$，则
 $1.d(x,y)\ge 0,\forall x,y\in V$且$d(x,y)=0\iff x=y$
 $\begin{array}{rl}2.d(x,z)& =\Vert x-z\Vert =\Vert x-y+y-z\Vert \\ & \le \Vert x-y\Vert +\Vert y-z\Vert \\ & =d(x,y)+d(y,z)\end{array}$
所以 $d$ 是 $V$ 上的距离，$(V,d)$ 是度量空间，赋范线性空间 $V$ 也具有拓扑结构.

四、内积空间

  内积空间 = 线性空间 + 内积
  这里仅考虑实线性空间上的内积，设 $V$ 是实线性空间，在其上定义内积运算 $(\cdot ,\cdot ):V\times V\to R$，即 $\forall x,y\in V$，在 $R$ 中都有唯一的一个元素 $\delta$ 与之对应，称为 $x$ 与 $y$ 的 内积，记为 $(x,y)$，且满足以下性质：

 $1.(x,x)\ge 0$ 且$(x,x)=0\iff x=0$
 $2.(x,y)=(y,x)$
 $3.(ax,z)=a(x,z),a\in R$
 $4.(x+y,z)=(x,z)+(y,z)$

则称 $(V,(\cdot ,\cdot ))$ 为内积空间.
下面根据内积定义范数，令 $\Vert x\Vert =\sqrt{(x,x)}$，则
 $1.\Vert x\Vert \ge 0$ 且 $\Vert x\Vert =0\iff x=0$
 $2.\Vert ax\Vert =\sqrt{(ax,ax)}=\sqrt{a^2(x,x)}=|a|\Vert x\Vert$
为证明 $3.\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$，先证明 柯西-施瓦兹(Cauchy-Schwarz)不等式$$(x,y{)}^2\le (x,x)(y,y)$$若 $x=0$，不等式显然成立；
否则，考虑$$(tx+y,tx+y)=(x,x)t^2+2(x,y)t+(y,y)\ge 0$$将其看作是关于 $t$ 的二次函数，则有$$\Delta =4(x,y{)}^2-4(x,x)(y,y)\le 0$$所以 $(x,y{)}^2\le (x,x)(y,y)$，即 $(x,y)\le \sqrt{(x,x)(y,y)}$，当且仅当 $tx+y=0$ 时，“$=$” 成立.
 $\begin{array}{rl}\Vert x+y{\Vert }^2& =(x+y,x+y)\\ & =(x,x)+(x,y)+(y,x)+(y,y)\\ & \le (x,x)+2\sqrt{(x,x)(y,y)}+(y,y)\\ & =(\sqrt{(x,x)}+\sqrt{(y,y)}{)}^2\\ & =(\Vert x\Vert +\Vert y\Vert {)}^2\end{array}$
所以 $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$.
  综上，$\Vert x\Vert =\sqrt{(x,x)}$ 是线性空间 $V$ 上的范数，$(V,\sqrt{(\cdot ,\cdot )})$ 是赋范线性空间.

五、举个例子 $R^n$

  到目前为止，已经介绍了线性空间、度量空间、赋范线性空间和内积空间，它们之间的关系如图所示

  下面举个例子，$R^n=\{({\xi }_1,{\xi }_2,\cdots ,{\xi }_n)|{\xi }_i\in R,i=1,2,\cdots ,n\}$，取 $R$ 为对应数域，加法和数乘按照通常定义，容易验证满足那八条性质，则 $R^n$ 是线性空间. $\forall x,y\in R^n$，记 $x=({\xi }_1,{\xi }_2,\cdots ,{\xi }_n),y=({\eta }_1,{\eta }_2,\cdots ,{\eta }_n)$，定义 $x$ 与 $y$ 的内积 $$(x,y)\triangleq \sum _{i=1}^n{\xi }_i{\eta }_i=x^{T}y=y^{T}x$$容易验证这样定义的内积满足内积的四条性质，所以 $(R^n,(\cdot ,\cdot ))$ 是内积空间.
再来看看这样定义的内积导出的范数 $$\Vert x\Vert =\sqrt{(x,x)}=\sqrt{\sum _{i=1}^n{\xi }_i^2}=\sqrt{x^{T}x}$$是 $2$-范数.
接着，范数导出的距离$$d(x,y)=\Vert x-y\Vert =\sqrt{\sum _{i=1}^n{({\xi }_i-{\eta }_i)}^2}$$就是通常所说的欧式距离.

Plus:
英文解释可参照维基百科(Wikipedia)：
线性空间(Vector space)
度量空间(Metric space)
赋范线性空间(Normed vector space)
内积空间(Inner product space)