🧠AI 冷知识
你知道吗?
这些有趣的 AI 小知识可能让你大吃一惊
🔍
维度盲区SE-Net只看通道注意力,相当于知道"哪个特征重要"但不知道"重要在哪里";空间注意力则相反。两者单独使用时都会丢失另一半信息——就像只调电视的音量不调画面,或只调画面不调音量。
一句话总结
💡
通道注意力只关注"什么"重要,空间注意力只关注"哪里"重要,两者都忽略了跨维度的交互关系,需要跨维度注意力补充。
常见误区
这些坑别踩
✗
误区 1
通道注意力和空间注意力已经足够,不需要跨维度注意力。
✓
正确理解
通道和空间注意力各自独立建模,忽略了通道与空间位置间的交互关系,跨维度注意力能捕获这种联合关系,进一步提升特征表达。
✗
误区 2
跨维度注意力只是把通道和空间注意力简单拼接。
✓
正确理解
跨维度注意力是独立设计的机制,建模通道维度与空间维度之间的交叉关系,而非简单拼接,其计算方式和关注点与前两者不同。
巩固练习
章节练习与面试准备
通过测试检验学习效果,通过面试题提升实战能力
章末测试
共 4 题 · 选择题
1
SENet(Squeeze-and-Excitation)的通道注意力存在什么主要局限?
2
CBAM 相比 SENet 的改进是?它仍存在什么不足?
3
"跨维度交互"(cross-dimension interaction)的含义是?
4
降维比例(reduction ratio)在 SE/CBAM 中导致信息损失的原因是?
面试经典题
共 4 题 · 先思考再看答案
1
基础
请简述 SENet 通道注意力的原理及其降维瓶颈问题。
2
中等
对比 SENet、CBAM 与 Triplet Attention 在维度交互上的差异。
3
困难
为什么通道注意力的降维(dimensionality reduction)会损害性能?如何权衡?
4
困难
除了 SENet/CBAM,还有哪些通道/空间注意力方法?它们如何改进降维问题?
💡 建议:先独立思考并组织语言,再对照参考答案查漏补缺