🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
反直觉LoRA的核心洞察是：微调时权重的变化量是低秩的。它不训练原始权重，而是训练一个低秩矩阵对(ΔW=BA)，参数量减少上千倍。一篇LoRA论文让"用一张消费级显卡微调大模型"成为现实，催生了整个"个人大模型"生态。
来源：Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models", 2021
一句话总结
💡
LoRA 冻结原模型权重，仅训练注入的低秩分解矩阵，以极小可训练参数量实现高效的参数高效微调。
常见误区
这些坑别踩
✗
误区 1
LoRA 会修改原模型权重。
✓
正确理解
LoRA 冻结原权重，新增旁路低秩矩阵，推理时可合并但训练不改变原参数。
✗
误区 2
LoRA 秩越大效果越好。
✓
正确理解
秩过大会增加参数失去高效优势且可能过拟合，常见取 8-64。
✗
误区 3
LoRA 效果一定不如全参微调。
✓
正确理解
在许多任务上 LoRA 能接近全参微调效果，且显存占用大幅降低。
巩固练习
章节练习与面试准备
通过测试检验学习效果，通过面试题提升实战能力
章末测试
共 4 题 · 选择题
1
LoRA（Low-Rank Adaptation）的核心思想是？
2
LoRA 的主要优势是？
3
LoRA 中秩 r 的作用是？
4
关于 LoRA 的训练方式，下列说法正确的是？
面试经典题
共 5 题 · 先思考再看答案
1
基础
什么是 LoRA？它解决了什么问题？
2
中等
请说明 LoRA 的数学原理，并解释为什么用低秩近似是合理的。
3
中等
比较 LoRA 与全量微调的优劣及适用场景。
4
困难
LoRA 的秩 r 如何选择？选择过大或过小有什么影响？
5
困难
比较 LoRA 与 Adapter、Prefix Tuning 等其他参数高效微调方法。
💡 建议：先独立思考并组织语言，再对照参考答案查漏补缺