LLMs-from-scratch
PyTorchでGPT型の言語モデルを一から作り、事前学習と微調整まで進めるコードです。書籍に対応し、LLMの仕組みを学べます。
再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。
Xで共有独自ライセンス(リポジトリを参照)
概要
書籍 Build a Large Language Model (From Scratch) の公式コードリポジトリです。GPT のような LLM を PyTorch で開発、事前学習、ファインチューニングするコードを、説明、図、例とともに段階的に進めます。手法は教育目的で、大規模な基盤モデルの作り方を小さな規模で再現するものです。より大きな学習済みモデルの重みを読み込むコードも扱います。
主な特長
- PyTorch で GPT 風 LLM を段階的に構築するコード
- 事前学習とファインチューニングを扱う
- 大きな学習済みモデルの重みを読み込むコードを含む
- Jupyter Notebook 形式
こんな人・用途に
LLM の仕組みを自分でコードを書いて理解したい読者向けです。学習用で小さなモデルを作る内容であり、書籍に付随するものです。
- アップストリーム
- rasbt/LLMs-from-scratch
- GitHubのフォーク
- Guo-astro/LLMs-from-scratch
- アップストリームのスター数
- 106k
- カテゴリ
- 学習・面接対策・厳選リスト
- 言語
- Jupyter Notebook
- ライセンス
- 独自ライセンス(リポジトリを参照)
- フォーク日
- 2026-08-10
- 同期状態
- 同期済み最終同期 2026-10-20
同じカテゴリ: 学習・面接対策・厳選リスト
Linux Basics for Hackersをもとにした学習ノートです。コマンド例や図、演習を使い、自分のラボでLinuxの基礎を学べます。
フォーク日 2026-10-19最終同期 2026-10-20ライセンス表記なし学習・面接対策・厳選リストGitHub
Androidのroot化ガイドとrootアプリ・モジュールをまとめた、コミュニティ編集の情報集です。Webサイトで検索やカテゴリ別の閲覧ができます。
フォーク日 2026-10-19最終同期 2026-10-20ライセンス: MIT学習・面接対策・厳選リストGitHub
ゲームの逆コンパイルや再実装などを評価付きで自動更新する一覧です。種類別に探し、各プロジェクトのページへ移動できます。
フォーク日 2026-10-19最終同期 2026-10-20ライセンス: CC0-1.0学習・面接対策・厳選リストGitHub
高水準設計とデータ構造・アルゴリズムの無料学習ハンドブックです。構造化された学習資料と実践向けの教材で、学びを進めやすくします。
フォーク日 2026-10-18最終同期 2026-10-20ライセンス: CC-BY-SA-4.0学習・面接対策・厳選リストGitHub