inplace_abn
把批归一化与激活函数合并的网络层,可在深度网络训练时节省显存。让同样的硬件能训练更大的模型或使用更大的批量。
挑一个能复现的小 issue,用 AI 编程助手把它修好。
分享到 X许可证: BSD-3-Clause
概述
In-Place Activated BatchNorm(InPlace-ABN)是一个 PyTorch 层,用于降低训练深度网络所需的显存。它把批归一化和随后的激活合并为一次原地运算,并按需丢弃或重新计算中间缓冲。README 称在 ResNet、ResNeXt、Wider ResNet 等结构中最多可节省 50% 内存。仓库还包含 ImageNet 训练脚本和语义分割推理代码。
主要特点
- 把批归一化与激活合并为一次原地运算
- 据称在现代结构中最多节省 50% 内存
- 提供复现论文 ImageNet 结果的训练脚本
- 含 Mapillary Vistas 模型的语义分割推理代码
适用场景
适合训练大型网络时受限于 GPU 显存,想在同样硬件上用更大模型或批量的深度学习从业者。
- 上游仓库
- mapillary/inplace_abn
- GitHub 上的 fork
- Guo-astro/inplace_abn
- 上游 Star 数
- 1.3k
- 分类
- 金融、数据与研究
- 编程语言
- Python
- 许可证
- BSD-3-Clause
- Fork 时间
- 2020-12-05
- 同步状态
- 已同步上次同步 2026-10-20