知了AI学习平台Logo知了
🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

😲
反直觉

ONNX 的设计目标是"一次训练,到处运行"——把 PyTorch、TensorFlow、JAX 的模型统一成一种中间表示。但现实比理想残酷:ONNX 的算子集覆盖不全,很多自定义层需要手写 ONNX 算子。Safetensors 是 HuggingFace 的发明,用 Rust 写的序列化格式,加载速度比 pickle 快 10 倍以上,而且天然防止 pickle 反序列化的安全漏洞——pickle 可以执行任意代码,Safetensors 不行。这就是为什么如今几乎所有开源大模型都用 Safetensors 格式发布。

一句话总结
💡

模型格式与转换将训练框架产物转为 ONNX、TensorRT 等推理优化格式,实现跨平台高效部署。

常见误区

这些坑别踩

✗

误区 1

直接部署 PyTorch 模型就行。

✓

正确理解

原生格式推理慢,转 ONNX/TensorRT 能显著加速。

✗

误区 2

转换后精度一定不变。

✓

正确理解

量化等转换可能引入精度误差,需验证一致性。

✗

误区 3

ONNX 在所有平台都最快。

✓

正确理解

不同平台最优格式不同,ONNX 是通用中间格式但未必最快。