The Separation of Variables

基本精神

  偏微分方程是人们描述“场”这一概念的重要手段，是某物理量在一点附近满足的关系；而在给定条件下的解，是物理量在时空中的整体分布——这和常微分方程的初值问题有一定的联系，也有一定的区别。

  在为各自变量赋予明确的物理含义之前，它们应当是平等的。然而，我们倾向于为其中一个变量赋予特殊地位，然后再根据系统关于它的不同响应来分而治之。这个特殊的变量就是“时间”，相应其他的变量则组成“空间”。基于这样的想法，我们将方程分为两类：平衡方程和发展方程。

  发展方程刻画了某种动力学过程，它含有对时间的导数。比如热量的传输和弦的振动分别对应热传导方程与波动方程：

$$\frac{\partial u}{\partial t} = a^2 \sum _{i=1}^n \frac{\partial ^2 u}{\partial x_i ^2} + f (t,\bm{x})$$

$$\frac{\partial ^2 u}{\partial t ^2} = a^2 \sum _{i=1}^n \frac{\partial ^2 u}{\partial x_i ^2} + f (t,\bm{x})$$

  平衡方程则不含对时间的导数，从而空间分布不随时间变化。这一类方程的解是某物理过程长期博弈之后的稳定结果，比如 Laplace 方程和 Poisson 方程分别可以看作无源与有源热传导方程的稳态解：

$$\sum _{i=1}^n \frac{\partial ^2 \varphi}{\partial x_i ^2} = -\frac{\rho (\bm{x})}{\varepsilon _0}$$

  同样，分离变量法的首要目的就是时空分离，其次是空间各坐标的分离。所谓分离，就是说我们希望方程的变量各安其份、各得其所，没有相互耦合，特定方向上的变化由该方向上的自变量的取值唯一确定。

  分离变量法的理论基础建立在线性叠加原理和 Sturm-Liouville 定理上，前者让人们能够使用函数项级数来表示方程的解，只要一致收敛；后者保证了常微分方程固有值的存在性和固有函数系的正交完备性，为变量分离后对应常微分方程边值问题的求解提供了理论依据。

  总之,分离变量法的基本假设是：解以变量分离的形式存在，时空独立、互不相干。为了行文连贯，我们先给出最一般的Sturm-Liouville定理，之后再讨论具体的Fourier、Bessel和Legendre展开——它们都是Sturm-Liouville定理下的特例。

  顺便指出，这与概率论中独立随机变量的情况有一定的相通之处——当$X,Y$相互独立时，联合密度函数等于边缘密度函数的乘积：

$$f(x,y) = f_X(x)f_Y(y)$$

用织毛衣模型来理解，就是每一根经线质量分布相同；每一根纬线质量分布也相同。

  当然，分离变量法只适用于有限空间的问题。对于无限空间中的偏微分方程，则需要使用积分变换法或者基本解方法。

问题的提出

  考虑一维有界弦振动方程

$$\begin{aligned} &\frac{\partial ^2 u}{\partial t ^2} = a^2 \frac{\partial ^2 u}{\partial x ^2},\;\; t>0,0<x<l, \\ &\left. u\right|_{x = 0} = \left. u\right|_{x = l} = 0,\\ &\left. u\right|_{t = 0} = \varphi (x),\;\; \left. \frac{\partial u}{\partial t}\right|_{t = 0} = \psi (x) \end{aligned}$$

根据问题的物理意义，设方程有分离变量形式的驻波解$u = T(t) X(x)$，带入泛定方程：

$$\frac{T''}{a^2 T} = \frac{X''}{X}$$

等式左边对$t$求导

$$\frac{\partial }{\partial t} \frac{T''}{a^2 T} =\frac{\partial }{\partial t} \frac{X''}{X} \equiv 0$$

故$\frac{T''}{a^2 T}$恒等于某常数，设为 $-\lambda$

$$\frac{T''}{a^2 T} = \frac{X''}{X} \equiv -\lambda$$

于是分离得到关于空间的常微分方程边值问题

$$\begin{aligned} &X'' + \lambda X = 0,\;\;0<x<l,\\ &X(0) = X(l) = 0 \end{aligned}$$

以及关于时间的

$$T'' + a^2\lambda T = 0$$

并且我们希望

$$u(x,t) = X(x)T(0) = \varphi(x),\;\;X(x)T''(0) = \psi (x)$$

常微分方程的初值条件是唯一的，而边值问题不然。分类讨论，不难得到 $\lambda>0$的结论，设 $\lambda = \omega ^2$ ，边值问题的解为

$$X = A \cos \omega x + B\sin \omega x$$

对于这个问题，更进一步有

$$X_n = B\sin \omega _nx,\;\;\omega_n = \frac{n\pi}{l} ,\;\;n = 1,2,\dots$$

对于每一个$n$，考虑$T$所满足的条件，有

$$T_n = C_n \cos a\omega_n t + D_n \sin a\omega _n t$$

所以

$$u_n(t,x) = (C_n \cos a\omega_n t + D_n \sin a\omega _n t ) \sin \omega _nx$$

这里的每一个$u_n$都是波动方程的解，所以它们的线性组合也是波动方程的解

$$u(t,x) = \sum_{n= 1}^{+\infty} (C_n \cos a\omega_n t + D_n \sin a\omega _n t ) \sin \omega _nx$$

这就是变量分离形式的通解，但是我们要问：

1. 这样的解是否能够满足初值条件?
2. 是否有其他形式的变量分离的解?

  对于第一个问题，在傅里叶分析中我们知道三角函数系$\{\sin \omega_n x\;|\;n = 1,2,\dots\}$是平方可积的$L^2$函数空间中的完备正交基，任意平方可积函数的Fourier三角级数在函数的连续点处均收敛于本身，所以存在两组系数$\{C_1,C_2,\dots\}$和$\{D_1,D_2,\dots\}$，使得

$$\begin{aligned} u(0,x) &= \sum_{n= 1}^{+\infty} C_n \sin \omega _nx \rightarrow \varphi(x) \\ \frac{\partial u}{\partial t}(0,x) &= \sum_{n= 1}^{+\infty} D_n a\omega _n \sin \omega _n x \rightarrow \psi(x) \end{aligned}$$

并且它们可以通过 Fourier 分析的方法确定：

$$\begin{align*} C_n &= \frac{2}{l} \int_0^l \varphi(x)\sin \omega_n x\, \mathrm dx \\ D_n &= \frac{2}{a\omega_n l} \int_0^l \psi(x)\sin \omega_n x\, \mathrm dx \end{align*}$$

不妨取初值条件为 $\varphi(x) = x^2\sin 3x,\psi(x) = x$ ，对应级数解的前四项为

$$\begin{aligned} U &= \sin (x) \left(2 \sin (t)+\frac{3 \cos (t)}{8}\right)+\sin (2 x)\left(-\frac{1}{2} \sin (2 t)-\frac{48}{25} \cos (2 t)\right)\\ &+\sin (3x) \left(\frac{2}{9} \sin (3 t)+\frac{1}{18} \left(6 \pi ^2-1\right)\cos (3 t)\right)+\sin (4 x) \left(-\frac{1}{8} \sin (4 t)-\frac{96}{49} \cos (4 t)\right) \end{aligned}$$

  如图是解的可视化，看来我们构造的形式解在无穷级数的意义下确实可以凑成初值条件——收敛到$\varphi(x)$和$\psi(x)$上来。

  对于第二个问题，既然三角函数系是一组完备正交基，根据线性代数的结论可得分量的系数唯一，并且如果有基变换$\mathcal{A}$，则新的系数也可以通过相似矩阵得到，所以按照其他基函数的展开是等价的。

  反思我们求解这道题的过程，不难发现分离变量法成败的关键在于形式解

$$u(t,x) = \sum (C_n \cos a\omega_n t + D_n \sin a\omega _n t ) \sin \omega _n x$$

通过调整系数、增加项数的手段能否收敛于初值条件。而这一线性组合的框架结构，是空间边值问题

$$\begin{align*} &X'' + \lambda X = 0,\;\;0<x<l,\\ &X(0) = X(l) = 0 \end{align*}$$

的解，我们称这种问题为固有值问题，它的解叫做固有函数，对应的 $\lambda$ 称为固有值。

  首先，固有函数不能是有限个，否则大部分情况下我们是无法用有限的项去逼近任意一个函数的，除非目标函数本身就是这些有限项的线性组合，但这将大大限制分离变量法的适用范围。

  其次，如果它的解的个数是可数的，但是它们不能构成函数空间的完备基，那么即使是函数项级数也无法让形式解收敛于初值条件。

  再次，这一组函数是空间中的完备基还不够，因为将一个向量对非正交基分解，最通行的方法应是解线性方程组，而在平方可积的 $L^2$ 空间中，它是无穷维的。

  所以分离变量的要害在于固有值问题的解是否能满足以下三个条件：

1. 固有值个数可数
2. 固有函数完备
3. 固有函数正交

  我们将会看到，这三个问题将被 Sturm-Liouville 定理消灭干净。它作为分离变量法的理论基石，为人们时空分离的想法发放了通行证。

线性代数基础

Euclid空间与Hilbert空间

  数域 $\mathbb{F}$ 上的 $n$ 维线性空间 $V$ 有两个要点：线性空间中的元素是“向量”，相互之间定义有向量的“加法”；数域 $\mathbb{F}$ 中的元素是“标量”，它与向量之间定义有标量乘法。只要加法与乘法满足八条运算规律，它就是一个线性空间。

  加法和乘法的作用，在于给出了这个集合 $V$ 的“代数结构”。如果没有数域 $\mathbb{F}$ ，只有集合 $V$ ，我们还是可以定义元素之间的二元运算 $a \cdot b$

$$\forall a,b \in V,\;\;a \cdot b \in V$$

满足一定的运算规律则会构成 “群”。同样，这里的二元运算也表明集合 $V$ 具有一定的结构。对此的深入讨论请参见近世代数课程相关章节。

  为线性空间 $V$ 中的向量元素再赋予一种称为 内积 二元运算 $\langle a,b\rangle$ ，它满足 正定性、 双线性 以及 对称性 ，就说线性空间 $V$ 构成 Euclid 空间。

  内积具有Cauchy-Schwarz不等式、三角不等式等性质，还可定义向量的长度和夹角，由此给出 正交 的定义：

$a,\;b$ 正交，当且仅当

$$\langle a,b\rangle = 0$$

  Euclid 空间中可以找到一组正交基，空间中的任意向量对这组基都有唯一分解，但系数的求解方法不是求解线性方程组 $a_1 \bm v_1 + a_2 \bm v_2 + \dots + a_n \bm v_n = \bm b$ ，而是如下的正交分解：

对于向量$\bm{a}$和正交基$\{\bm{e_1},\bm{e_2},\dots,\bm{e_n}\}$，设$\bm{a} = a_1 \bm{e_1}+a_2 \bm{e_2},\dots,+a_n \bm{e_n}$，则

$$a_k = \frac{\langle \bm{a}\,,\,\bm{e_k} \rangle}{\langle \bm{e_k},\bm{e_k}\rangle}$$

  不过，Euclid 空间的维数是有限的，当我们不再对定义有内积的线性空间 $V$ 的维数有所要求时，就称为 Hilbert 空间。在数理方程中，最重要的 Hilbert 空间是平方可积空间 $L^2[a,b]$ ，它的元素是在集合 $U$ 上平方可积的任意函数 $f$ ：

$$\left\| \; f^2(\bm x) \mathrm d \bm x \;\right\| < +\infty$$

而内积定义为

$$\langle f,g\rangle = \int f(\bm x) g(\bm x) \mathrm d \bm x$$

  在 Sturm-Liouville 理论中，内积还需要带一个权重 $\rho (x)>0$ 。不难验证它仍然满足内积的三条性质：

$$\langle f,g\rangle = \int f(\bm x) g(\bm x) \mathrm \rho(\bm x) d \bm x$$

而数学分析中简单的 Fourier 三角函数展开则得到了 $[-\pi,\pi]$ 上的一组完备正交基：

$$1,\cos x,\sin x,\cos 2x,\sin 2x,\cos 3x,\sin 3x \dots$$

但是，根据问题的不同，我们可能需要把已知函数 $f$ 向其他的完备正交基展开，怎样找到这样的完备正交基，就是 Sturm-Liouville 定理要解决的问题。

自共轭算子

  $n$ 维 Euclid 空间 $V$ 中的线性变换 $\mathcal{A}$ 称为 自共轭 的，如果

$$\forall a,b \in V,\;\;\langle \mathcal{A}a,b\rangle = \langle a,\mathcal{A}b\rangle$$

它在数学上叫做对称变换（自伴变换），变换对应的矩阵就是 Hermite 方阵——适合共轭转置等于自身，即 $\overline{H}^T = H$ 的复方阵。

  所以 Hermite 方阵的特征值都是实数，且特征向量相互正交，构成 $n$ 维线性空间的正交基 。而前文提到的固有值问题，其实就是 $L^2 [a,b]$ 上的自共轭算子的特征值问题。