3分钟搞懂深度学习AI：实操篇：RNN

github仓库及代码（额外补充，持续更新）：
yiyu0716/3mins-dl: 专为零基础小白打造的深度学习极简指南。这里没有令人头疼的公式，只有通俗易懂的知识拆解。每天只需 3 分钟，带你利用碎片时间轻松看懂 AI 核心概念，从零开始，毫无压力地跨入人工智能大门。

为什么3分钟搞懂AI

• 现代人平均注意力仅 8 秒，3 分钟正好匹配大脑“黄金专注窗”，避免疲劳与遗忘。
• 微学习可将知识保留率提升 25%-80%，远超传统长课。
• 零基础读者能在碎片时间快速建立直觉，真正“懂”而非只是“看过”。
• 我们不仅知其然，还要知其所以然。
• 让你轻松坚持学完整个深度学习系列

1. 问题引入

读完一篇长达万字的文章，你还记得第一句话写了什么吗？对于绝大多数人来说，答案都是否定的。我们在阅读时，往往只对刚刚读过的内容印象深刻，而前面读过的信息会随着时间流逝逐渐模糊。有趣的是，早期的人工智能在阅读和理解人类语言时，也面临着一模一样的困扰：它们总是“读着后面，忘了前面”。为什么 AI 也会像人类一样“健忘”呢？

2. 最直观解释

RNN（循环神经网络）就像一个采用“击鼓传花”方式来记忆的系统，长距离的信息传递对它来说是一项几乎不可能完成的任务。

为了处理句子这样有先后顺序的信息，RNN 采用了一种接力传话的工作方式：每读一个词，它就把当前的理解和上一个词传递过来的信息打包，再传给下一个词。但问题就出在这个“传话”过程中。就像聚会游戏中的十个人依次耳语传话，第一句话传到最后一个人耳朵里时，往往早就变味甚至完全丢失了。RNN 在处理长文本时，早期词汇的信息在不断传递和加工中被渐渐稀释，最终导致它只能记住句尾的最近几个词。

3. 为什么它有用

尽管存在健忘的缺陷，RNN 的出现依然是人工智能发展史上的一个重要里程碑。在我们说话或写字时，词语并不是孤立存在的，后一个词的意思往往依赖于前一个词。比如“我今天没吃早餐，所以我现在很____”，由于前面提到了“没吃早餐”，这里填“饿”才符合逻辑。

早期的计算机程序就像看单张照片一样处理信息，完全没有“时间先后”和“上下文”的概念。RNN 首次赋予了机器“短期记忆”的能力。它让 AI 能够像人类阅读一样，顺着句子的顺序从左向右逐词处理，并在一定程度上结合前后的词语来预测下一个词、翻译简单的句子或是判断一句话是褒义还是贬义。 就像看连环画一样，机器终于知道要把前后的画面联系起来看了。

4. AI 是怎么用的

在技术层面，RNN 的核心是一个“循环结构”。你可以把它想象成一条流水线上的加工机器：上一个产品加工后的状态，会直接作为处理下一个产品时的参考参数。

然而，这种精巧的设计带来了一个致命弱点，在人工智能领域被称为“梯度消失”。AI 学习的过程是通过不断纠正错误来调整大脑中的参数。在 RNN 中，如果要把长句子最后一个词产生的错误反馈给第一个词，这种纠正信号需要在时间轴上连续相乘几十次。假设每次传递只保留 0.9 的信号强度，连乘几十次后，信号就会趋近于零（0.9 乘 0.9 乘 0.9……最后几乎等于 0）。

这就好比长城上的烽火台，如果中间有一百个烽火台，每次传递火光都暗一点点，第一台燃起的警报根本传不到最后一台。这种由短视导致的遗忘，让 RNN 像患了阿尔茨海默症，对文章中相隔很远的线索（长距离依赖）束手无策。

5. 一句话总结 + 记忆钩子

一句话总结： RNN 通过接力的方式处理文字，但由于信息传递过程中的不断损耗，导致它只能记住短期信息，无法理解长篇文章的早期线索。

直觉记忆钩子： 梯度消失 就像 ​长城烽火台连传一百次后微弱到看不见的火光​。

---

6. 实操最简代码

这段代码不需要你懂复杂的数学。我们将通过实际运行一段极简程序，让你亲眼看到 RNN 是如何“遗忘”最初的信息的。你可以直接在任何配置了 PyTorch 的环境中运行它。

Python

import torch
import matplotlib.pyplot as plt

# 1. 创建一个最简单的 RNN 大脑（无需训练，仅作结构演示）
# input_size=1 表示每次只看一个数字，hidden_size=1 表示它的记忆容量只有一个数字大小
rnn = torch.nn.RNN(input_size=1, hidden_size=1, batch_first=True)

# 为了直观演示“遗忘”，我们手动设定 RNN 内部的“记忆保留率”
# 这里将掌管历史记忆传递的权重设为 0.5。
# 这意味着每过一个时间步，之前的记忆就只剩下 50%
with torch.no_grad():
    rnn.weight_hh_l0.fill_(0.5) 
    rnn.weight_ih_l0.fill_(1.0) 
    rnn.bias_ih_l0.fill_(0.0)
    rnn.bias_hh_l0.fill_(0.0)

# 2. 准备一个由 10 个时刻组成的“输入故事”
# 假设在第 1 个时刻，我们输入了强烈的信号 "1"（可以理解为文章开头的一句关键线索）
# 随后的 9 个时刻，输入全是 "0"（没有任何新信息，全是废话）
# 结构格式为：[批次, 句子长度, 每个词的维度] -> [1, 10, 1]
story_input = torch.tensor([[[1.0], [0.0], [0.0], [0.0], [0.0], 
                             [0.0], [0.0], [0.0], [0.0], [0.0]]])

# 3. 让 RNN 阅读这个故事
# out 变量里记录了 RNN 在阅读每一个时刻时的“记忆状态”
out, final_memory = rnn(story_input)

# 4. 提取出每一个时刻的记忆值，并打印出来
memory_states = out.squeeze().detach().numpy() 

print("随着阅读不断往后进行，RNN 对开头第一个词的记忆量：")
for step, memory in enumerate(memory_states):
    print(f"读到第 {step+1} 个词时，最初的线索还剩: {memory:.4f}")

# 5. 将遗忘过程画成图表，让你一眼看懂
plt.figure(figsize=(8, 4))
plt.plot(range(1, 11), memory_states, marker='o', color='red', linewidth=2)
plt.title("RNN 记忆衰退曲线 (The Forgetting Curve)")
plt.xlabel("阅读进度 (时间步)")
plt.ylabel("第一句话的记忆强度")
plt.xticks(range(1, 11))
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()

结果图