inplace_abn

把批归一化与激活函数合并的网络层,可在深度网络训练时节省显存。让同样的硬件能训练更大的模型或使用更大的批量。

分享到 X许可证: BSD-3-Clause

概述

In-Place Activated BatchNorm(InPlace-ABN)是一个 PyTorch 层,用于降低训练深度网络所需的显存。它把批归一化和随后的激活合并为一次原地运算,并按需丢弃或重新计算中间缓冲。README 称在 ResNet、ResNeXt、Wider ResNet 等结构中最多可节省 50% 内存。仓库还包含 ImageNet 训练脚本和语义分割推理代码。

主要特点

  • 把批归一化与激活合并为一次原地运算
  • 据称在现代结构中最多节省 50% 内存
  • 提供复现论文 ImageNet 结果的训练脚本
  • 含 Mapillary Vistas 模型的语义分割推理代码

适用场景

适合训练大型网络时受限于 GPU 显存,想在同样硬件上用更大模型或批量的深度学习从业者。

上游仓库
mapillary/inplace_abn
GitHub 上的 fork
Guo-astro/inplace_abn
上游 Star 数
1.3k
分类
金融、数据与研究
编程语言
Python
许可证
BSD-3-Clause
Fork 时间
2020-12-05
同步状态
已同步上次同步 2026-09-29