inplace_abn

バッチ正規化と活性化を組み合わせ、深層学習の学習時のメモリを節約する層です。同じ環境でより大きなモデルやバッチを扱えます。

Xで共有ライセンス: BSD-3-Clause

概要

In-Place Activated BatchNorm(InPlace-ABN)は、深層ネットワークの学習に必要なメモリを減らすPyTorchのレイヤーです。バッチ正規化とその後の活性化を1つのインプレース演算として扱い、中間バッファを必要に応じて破棄または再計算します。READMEでは、ResNetやResNeXt、Wider ResNetなどで最大50%のメモリ削減が報告されています。ImageNet学習スクリプトとセグメンテーションの推論コードも含みます。

主な特長

  • バッチ正規化と活性化を1つのインプレース演算に統合
  • 最新アーキテクチャで最大50%のメモリ削減を報告
  • 論文のImageNet結果を再現する学習スクリプト
  • Mapillary Vistasモデルによる意味的セグメンテーション推論

こんな人・用途に

大規模ネットワークの学習でGPUメモリ不足に悩み、同じ環境でより大きなモデルやバッチを使いたい人向けです。

アップストリーム
mapillary/inplace_abn
GitHubのフォーク
Guo-astro/inplace_abn
アップストリームのスター数
1.3k
カテゴリ
金融・データ・リサーチ
言語
Python
ライセンス
BSD-3-Clause
フォーク日
2020-12-05
同期状態
同期済み最終同期 2026-10-14

同じカテゴリ: 金融・データ・リサーチ