算法动画 · 注意力
自回归生成动画
展示自回归语言模型如何逐 token 生成文本，每步基于已生成内容预测下一个词。
Autoregressive Generation
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
未激活·当前高亮（4 个元素）
1
给定提示词"今天天气"，模型需要自回归地逐词生成后续文本。
第 1 步 / 共 714%
🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
💡
一个一个来的生成哲学自回归模型逐个token生成内容，每一步都基于之前所有已生成的内容。GPT系列就是典型的自回归模型——生成1000个token需要1000次前向传播。这种"逐字生成"的方式天然适合文本，但在图像领域(PixelRNN/PixelCNN)却极其缓慢：生成一张256×256的图像需要逐像素生成65536次。KV Cache是自回归模型加速的关键优化——它缓存已计算的Key和Value，让每一步只需计算新token而非重新处理整个序列。
来源：Van den Oord et al., "Pixel Recurrent Neural Networks", ICML 2016
一句话总结
💡
自回归模型将联合概率分解为条件概率的链式乘积，按顺序逐个生成 token 或像素。
常见误区
这些坑别踩
✗
误区 1
自回归模型只能生成文本。
✓
正确理解
自回归也可生成图像（PixelRNN）、音频等，只要能定义生成顺序。
✗
误区 2
自回归生成可以并行。
✓
正确理解
每步依赖前一步输出，生成阶段本质是串行的，这是其速度瓶颈。
✗
误区 3
自回归模型一定能学到精确分布。
✓
正确理解
条件概率的链式假设和建模误差会使生成偏离真实分布。