知了AI学习平台Logo知了
🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

🔍
维度盲区

SE-Net只看通道注意力,相当于知道"哪个特征重要"但不知道"重要在哪里";空间注意力则相反。两者单独使用时都会丢失另一半信息——就像只调电视的音量不调画面,或只调画面不调音量。

一句话总结
💡

通道注意力只关注"什么"重要,空间注意力只关注"哪里"重要,两者都忽略了跨维度的交互关系,需要跨维度注意力补充。

常见误区

这些坑别踩

✗

误区 1

通道注意力和空间注意力已经足够,不需要跨维度注意力。

✓

正确理解

通道和空间注意力各自独立建模,忽略了通道与空间位置间的交互关系,跨维度注意力能捕获这种联合关系,进一步提升特征表达。

✗

误区 2

跨维度注意力只是把通道和空间注意力简单拼接。

✓

正确理解

跨维度注意力是独立设计的机制,建模通道维度与空间维度之间的交叉关系,而非简单拼接,其计算方式和关注点与前两者不同。

巩固练习

章节练习与面试准备

通过测试检验学习效果,通过面试题提升实战能力

章末测试

共 4 题 · 选择题

1

SENet(Squeeze-and-Excitation)的通道注意力存在什么主要局限?

2

CBAM 相比 SENet 的改进是?它仍存在什么不足?

3

"跨维度交互"(cross-dimension interaction)的含义是?

4

降维比例(reduction ratio)在 SE/CBAM 中导致信息损失的原因是?

面试经典题

共 4 题 · 先思考再看答案

1
基础

请简述 SENet 通道注意力的原理及其降维瓶颈问题。

2
中等

对比 SENet、CBAM 与 Triplet Attention 在维度交互上的差异。

3
困难

为什么通道注意力的降维(dimensionality reduction)会损害性能?如何权衡?

4
困难

除了 SENet/CBAM,还有哪些通道/空间注意力方法?它们如何改进降维问题?

💡 建议:先独立思考并组织语言,再对照参考答案查漏补缺