又有知识…增加了

摘要： Jensen不等式：如果 f 是一个凸函数，X 是一个随机变量，那么： $ f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] $ 它的含义是，对于凸函数 f 而言：平均值的函数 ≤ 函数的平均值，如果 f 是凹函数，则不等式取反。 想象一下，函数 f 的形状就像一个碗，例 阅读全文

摘要： 这里介绍一下概率论与信息论中的一个核心工具：边缘化（marginalization）。 我们遇到的是：$ \sum_{x_1, \dots, x_n} P(x_1, \dots, x_n) \log P(x_1) = \sum_{x_1} P(x_1) \log P(x_1) $ 我们注意到$ \l 阅读全文

摘要： 先来看一个具体的例子，为了简化起见，我们取 n = 2：X_1 = 一枚均匀硬币的结果（正面或反面），X_2 = 另一枚均匀硬币的结果（正面或反面）。 我们有联合概率表 P(x_1, x_2)：x_1 x_2 P(x_1, x_2)，正面 正面 0.25，正面 反面 0.25，反面 正面 0.25， 阅读全文

摘要： 链式法则：$ H(X_1, X_2, \dots, X_n) = H(X_1) + H(X_2|X_1) + H(X_3|X_1,X_2) + \dots + H(X_n|X_1,\dots,X_{n-1}) $ 这与之前三个变量的情况不同，看到一长串 X_1、X_2、…、X_n，确实会让人感到不知 阅读全文

摘要： 如果整数、多项式、矩阵都是“环”，那它们之间除了共享一份公理清单，还有更深刻的实际联系吗？答案是，有！这种联系，就是 “同态” 与 “同构”。 同态，就是一个保持结构的映射。它就像在两个说不同语言，整数语和多项式语的世界之间，派去了一位完美的翻译官。这位翻译官确保：“先交流再翻译”的结果，和“先翻译 阅读全文

摘要： 欢迎来到“结构”的乐园：群、环、域。让我们暂时忘掉数本身，只关注它们进行操作的方式。 群，对称性的语言。它的核心思想是，我们只关心一个集合，以及集合上的一种合成方式，比如加法或乘法，它需要满足几条非常优雅的公理。 封闭性：你拿集合里任何两个元素进行合成，结果必须还在这个集合里。 结合律：(a · b 阅读全文

摘要： 互信息是信息论中最精妙的概念之一，它不仅仅是一个公式，更是一个关于关联的故事。 熵视角：“减少意外”的故事。 想象两个角色：X为天空，晴天或雨天；Y 为你是否带了伞。 一开始，你一无所知。你观察 X（天空），它存在一些不确定性，H(X)，因为你不知道它是晴天还是雨天。现在，有人告诉你 Y，你是否带了 阅读全文

摘要： 从有理数到实数的这一步，是整个构建过程中最深刻、最反直觉的一次飞跃。 我们之前构建自然数、整数、有理数，都像是在用乐高积木搭建已知的、离散的结构。每一个新数，我们都能明确地指出它是什么，比如 -2 是 {(0,2), (1,3)...}，1/2 是 {(1,2), (2,4)...}）。但当我们面对 阅读全文

摘要： 在整数这个崭新的世界里，乘法是畅通无阻的。但它的逆运算——除法，又成了新的不可能任务。6 / 3 = 2，没问题，结果还是个整数。但 3 / 6 呢？2 / 3 呢？1 / 2 呢？在整数的世界里，没有它们的容身之处。 是时候再次启动我们的“创世工具”流水线了。我们将现场展示，如何用完全一样的“有序 阅读全文

摘要： 吉布斯不等式的证明，我们要证明： $ D_{\text{KL}}(P | Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \geq 0 $ 等号成立当且仅当对于所有 $ x，P(x) = Q(x)$。 步骤 1：对数的一个关键性质,我们使用以下不等式： $ \ln t 阅读全文