🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
✨
实用技巧推理优化的"免费午餐"是算子融合(Operator Fusion)：把矩阵乘法后紧跟的 LayerNorm 和激活函数合并成一个 GPU kernel，省掉中间结果写回显存的步骤。TensorRT 的算子融合可以把推理速度提升 2-3 倍而不改变任何数学计算。另一个被低估的优化是"连续批处理"(Continuous Batching)——传统批处理要等一个 batch 中最长的请求生成完才释放，连续批处理则在每个 token 生成后动态加入新请求、移除已完成的请求，GPU 利用率从 30% 提升到 80% 以上。
一句话总结
💡
推理优化通过量化、算子融合、KV 缓存和动态批处理等技术降低延迟、提升吞吐。
常见误区
这些坑别踩
✗
误区 1
优化只靠量化。
✓
正确理解
还需算子融合、计算图优化、批处理和内存管理等综合手段。
✗
误区 2
优化不影响精度。
✓
正确理解
部分优化（如量化、剪枝）可能影响精度，需权衡验证。
✗
误区 3
延迟和吞吐是一回事。
✓
正确理解
延迟是单请求耗时，吞吐是单位时间处理量，需分别优化。