Batch Normalization（BN）

意义：意图解决内部协变量偏移问题，主要动态平滑优化 landscape

  • 内部协变量偏移（Internal Covariate Shift, ICS）：
    • 定义：在深度网络训练过程中，由于前层参数不断更新，导致后层的输入分布持续发生变化，导致优化路径曲折、收敛缓慢，这种现象称为。
    • 影响：
      • 每一层都在“追赶移动的目标”（chasing a moving target）
        • 在深度网络中，每一层的输出都是前若干层参数的复合函数。任何一层的微小更新，都会通过链式法则影响所有后续层的输入分布。这种分布变化不是数据本身的分布漂移（如 domain shift），而是由模型自身参数更新引起的内部动态变化，故称“内部协变量偏移”。
      • 优化路径曲折，收敛缓慢
        • 梯度下降假设损失函数在局部是平滑的，且当前梯度方向指向极小值。
        • 但若每一步更新后，后续层的输入分布剧烈变化，相当于损失函数本身在不断变形。
        • 结果：当前计算的梯度可能在下一步已不准确，导致优化轨迹震荡、步长受限。
      • 需要更小的学习率以维持稳定
        • 大学习率会引发前层参数大幅更新 → 后层输入分布剧变 → 梯度爆炸或发散。
        • 为维持稳定，不得不使用较小学习率，牺牲训练速度。
      • 对参数初始化高度敏感
        • 若初始权重导致某层输出分布极端（如全为0或饱和），后续层难以有效学习。
        • 而由于“漂移”效应，错误的初始化更难被后续优化纠正。
      • 训练收敛缓慢甚至失败
        • 例如 sigmoid 函数在输入绝对值 > 4 时梯度接近 0。若某层输出因前层更新而突然偏移到 [5, 10] 区间，则激活后梯度几乎为零，导致梯度消失，反向信号中断。
  • 后续研究（如 Santurkar et al., NeurIPS 2018）指出，BN 的主要增益可能并非直接来自 ICS 的缓解，而是通过平滑损失（smoothing the loss landscape）使梯度方向更一致、Hessian 谱条件数更小，从而显著改善优化动态。但 BN 的工程价值已被广泛验证。
  • landscape 优化
    • landscape，也称 loss landscape，损失曲面，指损失函数 \(\mathcal L(\theta)\) 在参数空间 \(\theta \in \mathbb R^d\) 上的几何形状。
    • 优化目标：找到损失曲面上的全局最低点，即全局最优解；或一个足够深的局部极小值（实用解）
    • 曲率（Curvature）：由 Hessian 矩阵 \(\mathbf H = \nabla^2 \mathcal L(\theta)\) 描述。曲率大 → 梯度方向易震荡；曲率变化剧烈 → 难以选择合适学习率
    • 梯度一致性：不同位置的梯度方向是否指向同一极小值。方向一致 → 快速收敛；方向混乱 → 路径曲折
    • 局部最小【鞍点】：实际上损失视图通常不是平滑的，而是由多个凹陷构成的局部最小点构成
    • 条件数（Condition Number）：Hessian 最大特征值 / 最小特征值。条件数大 → 损失曲面“狭长”，梯度下降呈锯齿状，收敛慢
  • 平滑化（smoothing）：指通过某种机制（如 BN、权重衰减、特定激活函数等）使 loss landscape 的几何结构变得更“规则”、“缓和”，具体表现为：
    • 减小 Hessian 的谱范数（最大特征值）→ 曲率更温和；
    • 降低 loss landscape 的局部剧烈波动；
    • 使梯度方向在邻域内更一致；
    • 改善 Hessian 的条件数（即让曲面更接近“圆形碗”而非“狭长峡谷”）。
  • L-Lipschitz 连续：在优化理论中，若损失函数 \(\mathcal L(\theta)\) 是 L-smooth 的，意味着其梯度是 Lipschitz 连续 的，这等价于 Hessian 的谱范数有界：\(\|\mathbf H(\theta)\|_2 \leq L\) ，其中，L 越小 → 函数越“平滑” → 梯度变化越缓慢 → 优化越容易。

数学模型：设模型训练批量训练的一个 mini-batch \(B=\{\mathbf x_1,\mathbf x_2,\dots,\mathbf x_m\},\mathbf x_i\in\mathbb R^d\) ，BN对每个特征维度 \(j\in\{1,2,\dots,d\}\)（注意：BN 通常在通道维度上独立进行）执行标准化 + 仿射变换操作：

  • 标准化：\(\hat x_i^{(j)} = \frac{x_i^{(j)}-\mu_B^{(j)}}{\sqrt{\sigma_B^{2(j)}+\epsilon}}\\\) ，其中：

    • \(\mu_B^{(j)} = \frac 1m \sum_{i=1}^m x_i^{(j)}\\\)
    • \(\sigma_B^{2(j)} = \frac 1m \sum_{i=1}^m (x_i^{(j)} - \mu_B^{(j)})^2\\\)
    • \(\epsilon\) 为数值稳定项，通常取极小的正数（如 \(10^{-5}\) ），防止分母（标准差）为零

  • 仿射变换：\(\mathbf{BN_{\gamma,\beta}}(x_i^{(j)}) = \gamma^{(j)} \hat x_i^{(j)} + \beta^{(j)}\) ，其中 \(\gamma\) 和 \(\beta\) 为可学习参数

    • 若 \(\gamma = \sqrt{\sigma^2},\beta = \mu\) ，则 BN 退化为恒等映射——不会降低模型容量。

特性：

  • 优势

    • 解耦参数尺度与方向：仿射参数 γ,β 允许网络学习尺度，而标准化部分控制分布形状；
    • 限制激活值的尺度，缓解深度网路的梯度消失问题：
      • 随着网络的层数加深，每一层的输入分布会发生变化，导致训练不稳定【受激活函数影响，激活函数对分布敏感】
      • BN对每层输入数据去中心归一化处理，拉向近似标准正态分布（\(\mathcal N(0,1)\)），使得每层网络输入数据的均值和方差限制在一定范围内，减少ICS的影响，使得激活前将输入维持在非饱和区，缓解梯度消失问题【激活函数如sigmoid、tanh等容易出现梯度消失的问题】
    • 有效减小局部 Lipschitz 常数，实现“动态平滑”，从而允许更大的学习率，提高训练速度
      • 因为BN稳定了每一层网格的输入分布，网格参数的更新更稳定，平滑 landscape 优化，使优化路径更平滑，高学习率下不易发散，因此可使用更高的学习率进行训练【优化路径不稳定时，高学习率容易产生震荡，训练效率低或失败，通常为此采用更低的学习率】，更高的学习率使得训练速度更快
    • 引入batch噪声，提高泛化能力：从batch的均值和标准差引入了小批量样本的噪声【更宽的局部最小】，起到了一定的正则化效果，提高了模型的鲁棒性；
    • 减少对初始参数的依赖
      • 传统深度网络对 Xavier/He 初始化高度依赖；BN使得每层输入数据分布相对稳定，BN消除了层间尺度爆炸/消失，降低了网格对参数初始化的敏感性，增强了模型的鲁棒性
      • 即使使用了不同的参数初始化方式，BN仍能使网络快速收敛到较好的解
    • 提高sigmoid等饱和激活函数在深层网络中的兼容性
      • 饱和激活函数使输出限制在一定范围内，容易陷入饱和区，BN使得其在深层神经网络中发挥更好的作用

  • 注意事项：

    • Batch Size敏感：Batch Size不能过小，引入噪声过大，需控制当前批量均值和标准差与全局的偏移量；batch size 较大时，正则化效果微弱
    • 训练模式【当前批次样本的均值和标准差】、评估模式【使用固定的均值和标准差】、推理模式【保存在模型的缓冲区，累计的均值和方差】
      • 训练时：使用 batch-level 的均值和方差
      • 评估时：使用固定均值和方差
      • 推理时：使用指数移动平均（EMA）累积的全局统计量

  • 其他归一化方法：

    • GroupNorm：在 channel 维度分组后归一化，不依赖 batch，因此可特别地处理小批量任务
    • LayerNorm（适用于 RNN/Transformer）：对单个样本的所有特征归一化
    • WeightNorm：对权重向量归一化
    • SyncBatchNorm（多卡同步统计量）
    • InstanceNorm：对单个样本的每个通道归一化

  • 其他平滑 landscape 的方法：但 BN 是最通用、最有效、计算开销最小的平滑化手段之一。

    • Weight Decay（L2 正则）：抑制参数过大，间接平滑；
    • Gradient Clipping：防止梯度爆炸，稳定更新；
    • Smooth Activations（如 Swish, GELU）：比 ReLU 更平滑，减少非线性突变；
    • Learning Rate Warmup：初期小学习率让 landscape “预热”平滑；
    • Second-order Methods（如 K-FAC）：显式利用曲率信息调整更新方向。

  • 不适合场景：

    • 序列建模（RNN/Transformer）：序列长度可变，batch内样本长度不一，统计量难对齐；BN 难以处理变长序列，通常用 LayerNorm；
    • 生成模型（GAN）：batch 内样本相互影响，BN 可能导致生成样本多样性下降；
    • 在线学习/小样本：无法获得可靠 batch 统计量