train-llm-from-scratch

概要

Attention Is All You Need論文に基づき、PyTorchで独自のTransformer言語モデルを訓練するための、手順解説とスクリプトのチュートリアルです。生テキストとトークンからベースモデルを作り、教師ありファインチューニング、報酬モデル、PPO、DPO、GRPOへと進み、評価とチャットで終わります。アルゴリズムはtrl、peft、transformersを使わず、素のPyTorchで手書きされています。作者によると、単一GPUで百万規模から十億規模のパラメータのモデルを訓練できます。

主な特長

• 素のPyTorchでTransformerをゼロから実装
• 生テキストから事前学習済みベースモデルまで
• SFT、報酬モデル、PPO、DPO、GRPOを扱う
• trl、peft、transformersに依存しない
• 最後に評価とチャットまで実施

こんな人・用途に

言語モデルの作り方と整合の手順を、自分で読んで動かしながら理解したい学習者向けです。教材であり、例の出力は約1300万パラメータの小さなモデルのものです。