你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
2015年DeepMind的DQN用一个网络同时玩49款Atari游戏并超越人类，登上了《Nature》封面。它的关键创新是"经验回放"——把过去的经验存进缓冲区随机采样训练，打破了强化学习数据的高度相关性。
来源：Mnih et al., "Human-level control through deep reinforcement learning", Nature, 2015
Deep Q-Network用神经网络逼近Q函数，结合经验回放和目标网络稳定地解决高维状态空间的强化学习问题。
这些坑别踩
误区 1
DQN就是用神经网络替代Q表，没什么特别的。
正确理解
直接用神经网络逼近Q值会导致训练不稳定，DQN的关键创新是经验回放(打破相关性)和目标网络(稳定目标)，缺一不可。
误区 2
经验回放只是为了提高数据利用率。
正确理解
经验回放不仅提高数据利用率，更重要的是打破样本间的时间相关性，满足独立同分布假设，使训练更稳定。
章节练习与面试准备
通过测试检验学习效果，通过面试题提升实战能力
章末测试
共 4 题 · 选择题
DQN 用神经网络近似 Q 函数的主要原因是？
DQN 中经验回放（Experience Replay）的作用是？
DQN 引入目标网络（Target Network）的目的是？
关于 DQN 的过估计问题与 Double DQN，下列说法正确的是？
面试经典题
共 5 题 · 先思考再看答案
请描述 DQN 的完整训练流程，包括经验回放与目标网络的作用。
什么是"致命三要素"（Deadly Triad）？DQN 如何应对？
除了 Double DQN，DQN 还有哪些重要改进？请简要说明。
DQN 为什么适合离散动作空间？连续动作空间有什么挑战？
请解释 DQN 损失函数的设计，以及为什么用均方 TD 误差。
💡 建议：先独立思考并组织语言，再对照参考答案查漏补缺