🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
🏗️
积木拼装完整的Transformer编码器由N个相同的层堆叠而成，每层包含多头注意力加FFN加残差加LayerNorm。原始论文用N=6层，但现代大模型动辄上百层。有趣的是，由于残差连接的存在，即使堆叠100层，梯度也能无损地传回第一层——这在残差连接发明之前是不敢想的。
一句话总结
💡
完整 Transformer 由嵌入加位置编码、编码器堆叠、解码器堆叠与输出投影组成，实现端到端序列到序列建模。
常见误区
这些坑别踩
✗
误区 1
所有 Transformer 都有编码器和解码器。
✓
正确理解
GPT 只用解码器，BERT 只用编码器，完整编解码器架构主要用于翻译类任务。
✗
误区 2
完整实现必须用 PyTorch。
✓
正确理解
Transformer 是架构，可用任何框架实现，PyTorch 只是常见选择。
✗
误区 3
手写 Transformer 必须从零实现所有组件。
✓
正确理解
可借助框架内置模块，但从零实现有助于理解原理。