Caveman 性能陷阱：PyTorch 与 ONNX Runtime 内存泄漏对比

# Caveman 性能陷阱：PyTorch 与 ONNX Runtime 内存泄漏对比

在 LLM 推理部署中，内存管理是决定服务稳定性和吞吐量的核心因素。PyTorch（动态图）与 ONNX Runtime（静态优化）是两条截然不同的技术路径，它们在内存泄漏的表现形式、根源和规避策略上存在显著差异。本文通过结构化对比，厘清两种方案的真实成本。

## 执行模型与内存管理机制

PyTorch 采用动态计算图，运行时行为高度依赖 Python 的垃圾回收机制。模型权重、激活值和中间张量均在 Python 对象系统中管理，每次前向传播产生的临时 Tensor 依赖引用计数释放。这套机制在交互式开发和调试场景下极为灵活，但也埋下了隐患：循环引用、闭包捕获和 CUDA 缓存积累都能轻易绕过引用计数，导致内存持续增长而不触发 GC。

相关阅读：国行Thinkpad笔记本_深圳报价