深度学习-符号字典

一、线性代数

符号约定

类型（英文） 符号表示 示例 标记格式 含义 维度 其他表示
标量（scalar） 小写斜体 \(x\) x 单个元素 \(x \in \mathbb R\) 向量元素：带脚标 \(i\) 小写斜体 \(x_{i}\) 表示向量 \(\mathbf x\) 的第 \(i\) 个元素
向量（vector） 小写粗体 \(\mathbf{x}\) \mathbf{x} 一维列向量 \(\mathbf x \in \mathbb R^d\) 手写体：带箭头小写斜体 \(\vec{x}\) 表示
矩阵（matrix） 大写粗体 \(\mathbf{X}\) \mathbf{X} 二维数组 \(\mathbf{X} \in \mathbb{R}^{m \times n}\) 矩阵元素：带脚标大写粗体 \(X_{ij}\) 或 \(X_{i,j}\) 表示
张量（tensor） 大写花体【calligraphic 字体】 \(\mathcal{T}\) \mathcal{T} 多维数组 张量元素：带下标的花体大写字母表示 \(\mathcal T_{ijk}\) 表示坐标为 \((i,j,k)\) 的元素。

特殊符号含义

符号 标记格式 含义
\(\top\) \top 转置 \((\mathbf{W}^\top)_{ij} = \mathbf{W}_{ji}\)
\(\mathbb R\) \mathbb R 实数集 \(\mathbb R^{n}\) ：带上标 \(n\) 表示 \(n\) 维实向量构成的向量空间
\(\mathbf{I}\) \mathbf I 单位矩阵。主对角线元素为1，其余位置元素为 0 的矩阵 \(\mathbf{I}_n\) ：表示 \(\mathbf{I} \in \mathbb{R}^{n \times n}\)
\(|\cdot|\) | | 模，范数（norm），衡量向量或矩阵的大小

符号运算

  • 向量 \(\mathbf x\)
    • 子向量：定义索引集合 \(S\)
      • \(\mathbf x_S\)：表示由索引集 \(S\) 所指定的元素（限制）构成的子向量
      • \(\mathbf x_{-S}\) ：表示不含索引集合 \(S\) 元素对应索引构成的向量
      • \(\mathbf x_{-i}\) ：除去第 \(i\) 个元素的向量
  • 矩阵：假设矩阵由 \(m\) 行 \(n\) 列元素组成，那么我们认为 \(\mathbf A\in\mathbb R^{m×n}\)，或者直接用\(\mathbf A_{m\times n}\) 表示
    • 矩阵乘积matrix product：\(\boxed{\mathbf{AB}=\mathbf C}\)，要求 \(\mathbf A\) 的列数 \(=\mathbf B\) 的行数，若矩阵 \(\mathbf A\) 的形状是 \(m×n\)，矩阵 \(B\) 的形状是 \(n×p\)，那么矩阵 \(\mathbf C\) 的形状是 \(m×p\) 。矩阵乘法操作定义： \(\boxed{C_{ij}=\sum_kA_{ik}B_{kj}}\)
    • 矩阵相加：两矩阵形状相同时两矩阵相加，实际上是对位元素进行相加操作，如 \(\boxed{\mathbf C=\mathbf A+\mathbf B}\) ，其中 \(C_{ij}=A_{ij}+B_{ij}\)
    • 与标量相乘或相加：实际进行广播操作，对每个矩阵位置的元素进行相乘或相加。如 \(\mathbf D=a\cdot\mathbf B+c\)，其中 \(D_{ij}=a\cdot B_{ij}+c\)
    • 与向量相乘或相加：同样进行类似的广播操作，但需要指定对行还是队列操作。
      • 如相加操作：\(\mathbf C=\mathbf A+\mathbf b\)，其中 \(C_{ij}=A_{ij}+b_{i}\) 或 \(C_{ij}=A_{ij}+b_{j}\)。
  • 转置：
    • 矩阵转置：\(\boxed{\mathbf A^\top}\)，对应元素表现为 \((\mathbf A^\top)_{ij}=\mathbf A_{ji}\)
    • 定义向量：\(\pmb x=[x_1,x_2,\dots,x_n]^\top\)
    • 标量可看做单元素矩阵：\(x=x^\top\)
    • 两个向量点积满足交换律：\(\mathbf x^\top\mathbf y=(\mathbf x^\top\mathbf y)^\top=\mathbf y^\top\mathbf x\)
    • 两个矩阵乘积的转置\((\mathbf {AB})^\top=\mathbf B^\top\mathbf A^\top\)
  • Hadamard 积：\(\boxed{\mathbf A\odot\mathbf B}\)，逐元素乘积，不是点积！
    • Hadamard 积（element-wise product）：\((\pmb x\odot\pmb y)_i=x_iy_i\)
    • 点积（dot product/inner product）：\(\pmb x^\top\pmb y=\sum_ix_iy_i\\\)
  • 线性方程组：\(\boxed{\mathbf A\pmb x=\pmb b}\)，其中 \(\mathbf A\in\mathbb R^{m\times n}\) 为已知矩阵，\(\pmb b\in\mathbb R^m\) 为已知向量，\(\pmb x\in\mathbb R^n\) 为求解的未知向量；\(\mathbf A\pmb x=\sum_ix_i\pmb A_{i,:}=\pmb b\)，实际上就是每个向量乘对应标量系数求和得到一组向量的生成子空间（span）
  • 单位矩阵：\(\boxed{\mathbf I_n}\in\mathbb R^{n\times n}\)
    • 任意向量和单位矩阵相乘，结果不变：\(\forall\pmb x\in\mathbb R^n,\mathbf I_n\pmb x=\pmb x\)
  • 逆矩阵：\(\boxed{\mathbf A^{-1}}\)，仅当 \(\mathbf A\in\mathbb R^{n\times n}\) 为非奇异矩阵（满秩）时，逆矩阵存在
    • 定义：\(\mathbf A^{-1}\mathbf A=\mathbf A\mathbf A^{-1}=\mathbf I\)
    • \(\mathbf A\pmb x=\pmb b\) 解方程：\(\pmb x=\mathbf A^{-1}\pmb b\)
  • 范数 norm：\(\boxed{\|\pmb x\|_p}\) ，衡量向量的大小。

    • 定义：\(\|\pmb x\|_p=(\sum_i|x_i|^p)^\frac1p\\\)，其中：\(p\in\mathbb R,p\geqslant 1\)

    • 特别地：

      • \(\|\pmb x\|_2\) 为欧几里得范数
      • \(\|\pmb x\|_1\) 为L1范数
      • \(\|\pmb x\|_\infty=\max_i|x_i|\\\) 为无穷范数（max norm）
      • Frobenius范数：\(\|\mathbf A\|_F=\sqrt{\sum_{i,j}A_{i,j}^2}=\sqrt{\text{tr}{(\mathbf A^\top\mathbf A)}}\)，衡量矩阵大小

    • 特性：【假定 \(f(\pmb x)=\|\pmb x\|_p\)】

      • 正定性：\(f(\pmb x)=0 \Rightarrow \pmb x=\pmb 0\)
      • \(f(\pmb x+\pmb y)\leqslant f(\pmb x)+f(\pmb y)\)（三角不等式triangle inequality）
      • \(\forall\alpha\in\mathbb R,f(\alpha\pmb x)=|\alpha|f(\pmb x)\)

二、数据集合/数据空间

特殊符号含义

符号 含义（英文） 类型 集合表示 备注
\(\mathcal{D}\) 数据集（dataset） 离散、有限 \(\mathcal{D} = \{(x_i, y_i)\}_{i=1}^N\) 通常指训练集；有时写作 \(\mathcal{D}_{\text{train}}\)
\(\mathcal{X}\) 输入空间（input space） 连续或离散、无限 图像：\(\mathcal{X} = [0,1]^{H \times W \times C}\)
文本：\(\mathcal{X} = \mathcal{V}^L\)（词表 \(\mathcal{V}\) 上的序列）		 所有可能输入的集合
\(\mathcal{Y}\) 输出/标签空间（output space） 离散（分类）或连续（回归） 分类：\(\mathcal{Y} = \{1,2,\dots,K\}\)
回归：\(\mathcal{Y} = \mathbb{R}\)
\(\mathcal{H}\) 假设空间（hypothesis space） 函数集合、无限 \(\mathcal{H} = \{ h_\theta : \mathcal{X} \to \mathcal{Y} \mid \theta \in \Theta \}\) 所有可能模型的集合

数集（Natural Numbers）

数集符号 含义
\(\mathbb N\) 自然数集（Natural Number），正整数集
\(\mathbb Z\) 整数集（德语：Zahlen）
\(\mathbb Q\) 有理数集（Quotient）
\(\mathbb R \setminus \mathbb Q\) 无理数集【无直接符号表示】
\(\mathbb R\) 实数集（Real Number）
\(\mathbb C\) 复数集（Complex Number）

包含关系：\(\mathbb{N} \subset \mathbb{Z} \subset \mathbb{Q} \subset \mathbb{R} \subset \mathbb{C}\)

集合大小

符号 含义 类型 关系
\(|\cdot |\) 数据集或空间的元素个数，又称基数（Cardinality）
\(\mathfrak c\) 连续统：不可数无限集的大小 不可数无限（Uncountably Infinite） \(\mathfrak{c} = |\mathbb{R}|\)
\(\aleph_0\) 阿列夫零：可数无限集的大小 可数无限（Countably Infinite） \(\aleph_0 = |\mathbb N|\)

笛卡尔积

笛卡尔积（Cartesian Product）：$\mathcal{X} \times \mathcal{Y} $ ，表示 \(\{(x,y)|x \in \mathcal X, y \in \mathcal Y\}\) ，\(\mathcal{D} \subset \mathcal{X} \times \mathcal{Y}\)