G
N
I
D
A
O
L

BPE分词算法

BPE分词算法

步骤：

  1. 初始化词汇表v
  2. 找到共同出现次数最多的x、x'，执行步骤3，直到达到停止的要求或者没有共同出现的x、x'
  3. 将找到x、x'替换为xx'到v中
posted @ 2025-12-15 21:12  盲仔你要沉住气  阅读(1)  评论(0)    收藏  举报