🧠AI 冷知识
你知道吗?
这些有趣的 AI 小知识可能让你大吃一惊
😲
反直觉ONNX 的设计目标是"一次训练,到处运行"——把 PyTorch、TensorFlow、JAX 的模型统一成一种中间表示。但现实比理想残酷:ONNX 的算子集覆盖不全,很多自定义层需要手写 ONNX 算子。Safetensors 是 HuggingFace 的发明,用 Rust 写的序列化格式,加载速度比 pickle 快 10 倍以上,而且天然防止 pickle 反序列化的安全漏洞——pickle 可以执行任意代码,Safetensors 不行。这就是为什么如今几乎所有开源大模型都用 Safetensors 格式发布。
一句话总结
💡
模型格式与转换将训练框架产物转为 ONNX、TensorRT 等推理优化格式,实现跨平台高效部署。
常见误区
这些坑别踩
✗
误区 1
直接部署 PyTorch 模型就行。
✓
正确理解
原生格式推理慢,转 ONNX/TensorRT 能显著加速。
✗
误区 2
转换后精度一定不变。
✓
正确理解
量化等转换可能引入精度误差,需验证一致性。
✗
误区 3
ONNX 在所有平台都最快。
✓
正确理解
不同平台最优格式不同,ONNX 是通用中间格式但未必最快。