高光谱成像基础（完）光谱融合（Spectral Fusion）

在上一篇里，我们介绍了光谱重建的相关内容。这一类方法的核心问题是：当光谱信息缺失时，如何从“有限观测”中恢复完整光谱。

但在实际应用中，还还还存在另一类同样常见的情况：

我们并不是“没有数据”，而是“拥有多种不完整但彼此互补的数据”。

要解释这种情况，就需要先补充一点硬件知识：
在相机传感器中，一个像素位置接收到的能量可以粗略表示为：

\[能量∝空间面积×光谱带宽 \]

在光照条件不变的情况下，可以认为总能量是有限的。
而这两个影响因素我们也并不陌生：

1. 空间面积：指单个像素对应的成像区域大小，本质上对应空间分辨率。
2. 光谱带宽：指单个通道覆盖的波长范围，高光谱图像通常采用更窄的波段划分。

用空间分辨率举个例子：对于同一场景，\(1024 \times 1024\) 的图像相比 \(512 \times 512\) 更清晰，本质上就是因为每个像素负责的空间区域更小，从而能够刻画更精细的结构细节。

而在光谱维度上，高光谱成像将连续光谱划分为大量窄波段，使得每个波段能够描述更精细的光谱变化，但同时也意味着每个通道接收到的能量更少。

所以，这就带来了一个矛盾：

我们很难同时获得高空间分辨率和高光谱分辨率。

因为无论是减小像素面积，还是缩窄光谱带宽，都会使单位通道接收到的能量减少，从而导致图像变暗或噪声增强，强行要求两全只会“样样通，样样松”。

所以，对于同一场景，我们往往只能通过不同设备单独获得高空间分辨率图像和高光谱分辨率图像，而不能在一台设备上获取双高图像。

在这种情况下，一种想法自然产生：

能否利用对同一场景的多源数据之间的互补信息，融合得到一个同时具备高空间分辨率与高光谱分辨率的结果？

这就是光谱融合（Spectral Fusion），它其实也可以看作一种重建。

1. 图像分类

正式引入光谱融合之前，有必要对相关图像类型进行一个简单梳理，这其实就是上面提到的多源数据。

1.1 高光谱图像（Hyperspectral Image, HSI）

这个并不陌生，高光谱图像的特点是：在光谱维度上具有极高分辨率。 通常包含上百个连续波段，其中每个波段都对应一个非常窄的波长范围。
但相应地，高光谱图像的空间分辨率较低，图像往往较为模糊。
虽然在一些公开数据集上，高光谱图像在视觉上可能表现出较好的清晰度，但这种“清晰”往往来源于对比度或数据预处理，而非其本身同时具备高空间分辨率与高光谱分辨率。

（图像来源）

1.2 多光谱图像（Multispectral Image, MSI）

多光谱图像其实可以看作是高光谱图像的“简化版本”，其特点是只保留少量离散波段，但通常具有更高的空间分辨率。
其波段数较少，一般在 4–10 个，每个波段覆盖较宽的光谱范围。
MSI 本身就是一个高光谱图像和 RGB 图像的中间形态：保留一定光谱信息的同时，提高空间分辨率。
也正是这种权衡，使得多光谱图像在实际应用中具有很强的实用性，成为遥感领域中最常见的数据类型之一。

（图像来源）

1.3 RGB 图像

不必多说，RGB 图像是最常见的一种多光谱图像，其空间分辨率高，但光谱信息极其有限。 当前商用RGB卫星图像甚至可以达到数万×数万的空间分辨率。

图片来源

1.4 全色图像（Panchromatic Image, PAN）

最终的 PAN 进一步极端化：只有一个通道，但具有非常高的空间分辨率。
其几乎不具备光谱区分能力,但空间细节最为清晰。

图像来源

总结来说，没有任何一种成像方式能够同时在空间和光谱两个维度上达到最优，但如果能够将这些信息有效融合，就有可能重建出同时具备高空间分辨率与高光谱分辨率的数据。

2. 什么是光谱融合？

我们可以用和光谱重建类似的形式来建模光谱融合问题。
假设我们有两类观测数据：

1. 高光谱数据：\(\mathbf{y}_h\)（低空间分辨率，高光谱分辨率）
2. 多光谱 / RGB 数据：\(\mathbf{y}_m\)（高空间分辨率，低光谱分辨率）

现在，我们的目标是恢复一个高质量的高光谱图像 \(\mathbf{x}\)，这同样可以在数学上建模为一个映射函数：

\[\mathbf{x} = f(\mathbf{y}_h, \mathbf{y}_m) \]

可以理解为 \(\mathbf{y}_h\) 提供光谱结构，而 \(\mathbf{y}_m\) 提供空间细节。

融合的目标就是：在保持光谱真实性的前提下，引入空间细节，从而提升整体质量。

3. 光谱融合里的解不唯一问题

和光谱重建完全一致，光谱融合同样面临解不唯一问题。
我们对两种成像进行如下建模：

1. 高光谱观测：

\[\mathbf{y}_h = \mathbf{S}\mathbf{x} \]

2. 多光谱观测：

\[\mathbf{y}_m = \mathbf{H}\mathbf{x} \]

同样的问题：

我们能否通过 \(\mathbf{y}_h\) 和 \(\mathbf{y}_m\) 反推出 \(\mathbf{x}\)？

答案依然是不能：\(\mathbf{S}\) 导致空间信息丢失、 \(\mathbf{H}\) 导致光谱信息丢失，这两者都是不可逆过程，而且同色异谱现象仍然存在。

现在，同样存在多个 \(\mathbf{x}\) 同时满足：

\[\mathbf{y}_h \approx \mathbf{S}\mathbf{x}, \quad \mathbf{y}_m \approx \mathbf{H}\mathbf{x} \]

因此，我们仍然需要引入先验信息来约束解空间，先验内容和光谱重建相同，就不再重复了。

4. 光谱融合的子空间求解

类似地，光谱融合也写成一个基于子空间的优化问题。
同样对目标光谱建模如下：

\[\mathbf{x} = \mathbf{D}\mathbf{a} \]

那么，优化目标就可以写成：

\[\min_{\mathbf{x}} |\mathbf{y}_h - \mathbf{S}\mathbf{x}|^2 + |\mathbf{y}_m - \mathbf{H}\mathbf{x}|^2 = \min_{\mathbf{a}} |\mathbf{y}_h - \mathbf{S}\mathbf{D}\mathbf{a}|^2 + |\mathbf{y}_m - \mathbf{H}\mathbf{D}\mathbf{a}|^2 \]

加入先验得到最终形式：

\[\min_{\mathbf{a}} \; \left\| \mathbf{y}_h - \mathbf{S}\mathbf{D}\mathbf{a} \right\|^2 + \left\| \mathbf{y}_m - \mathbf{H}\mathbf{D}\mathbf{a} \right\|^2 + \lambda_1 \|\mathbf{a}\|_1 + \lambda_2 \|\nabla \mathbf{a}\|^2 \quad \text{s.t.} \quad \begin{cases} \mathbf{a}_i \ge 0, & i = 1,2,\dots,p \\ \sum_{i=1}^{p} \mathbf{a}_i = 1 \end{cases} \]

最终完成求解即可。
总结来说，这种方法下的光谱融合，是在多源观测与先验约束的共同作用下，恢复同时具有高空间分辨率与高光谱分辨率的高质量数据。

5. 光谱融合的现代方法

随着方法的发展，光谱融合大致可以分为以下几类：

思路方向	主要特点	代表技术
基于物理模型的方法	显式建模成像过程	Bayesian 融合、变分方法
基于优化的方法	构造联合目标函数	TV 正则化、低秩模型
基于子空间的方法	低维表示 + 重建	PCA/MNF 融合、矩阵分解
基于稀疏表示的方法	字典学习 + 稀疏编码	K-SVD、OMP
基于深度学习的方法	端到端学习融合映射	CNN、UNet、Transformer
基于模型展开的方法	优化过程网络化	Unrolling 网络
物理引导方法	物理模型 + 深度学习	Physics-informed 网络

总之，光谱融合主要用于融合不同分辨率与不同模态的观测数据，在受限观测条件下，通过多源互补信息恢复接近真实场景的高质量光谱表示，在遥感与计算成像领域应用广泛。

6. 系列总结

高光谱成像的基础内容就先到此结束，总计十三篇内容。
其实如果要展开，还有很多内容，比如特征选择、时序分析、数据生成和更多具体算法。
但说实话，大部分的传统方法在现在已经不是主流选择了，它们更多的只是一种统计思想的指导，或者作为辅助出现在深度学习模型的某个环节，比如损失函数。又或者就是作为baseline 进行对比。
因此只是挑了一些较为经典的方法，同时简单展开了一些大类的研究方向，继续往下就要在传统方法里面一路狂奔了，相对来说性价比实在不高，打好地基之后，用现代技术建房才是更好的选择。

所以之后应该会新开一个深度学习进阶的分类，续接之前的吴恩达深度学习内容，展开一些目前更主流的框架原理，再回来具体应用。
感谢浏览，欢迎讨论！