LLMs-from-scratch
PyTorchでGPT型の言語モデルを一から作り、事前学習と微調整まで進めるコードです。書籍に対応し、LLMの仕組みを学べます。
再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。
Xで共有独自ライセンス(リポジトリを参照)
概要
書籍 Build a Large Language Model (From Scratch) の公式コードリポジトリです。GPT のような LLM を PyTorch で開発、事前学習、ファインチューニングするコードを、説明、図、例とともに段階的に進めます。手法は教育目的で、大規模な基盤モデルの作り方を小さな規模で再現するものです。より大きな学習済みモデルの重みを読み込むコードも扱います。
主な特長
- PyTorch で GPT 風 LLM を段階的に構築するコード
- 事前学習とファインチューニングを扱う
- 大きな学習済みモデルの重みを読み込むコードを含む
- Jupyter Notebook 形式
こんな人・用途に
LLM の仕組みを自分でコードを書いて理解したい読者向けです。学習用で小さなモデルを作る内容であり、書籍に付随するものです。
- アップストリーム
- rasbt/LLMs-from-scratch
- GitHubのフォーク
- Guo-astro/LLMs-from-scratch
- アップストリームのスター数
- 108k
- カテゴリ
- 学習・面接対策・厳選リスト
- 言語
- Jupyter Notebook
- ライセンス
- 独自ライセンス(リポジトリを参照)
- フォーク日
- 2026-08-10
- 同期状態
- 同期済み最終同期 2026-11-09
同じカテゴリ: 学習・面接対策・厳選リスト
CSAPP第3版の中国語学習資料です。章の読書、演習解答の確認、8つの実験学習をオンラインでもオフラインでも進められます。
フォーク日 2026-10-20最終同期 2026-11-09ライセンス表記なし学習・面接対策・厳選リストGitHub
大学生や初めて社会に出る人向けに、協力や職場、金銭などの場面での伝え方と判断のヒントをまとめた実践ガイドです。
フォーク日 2026-10-20最終同期 2026-11-09独自ライセンス(リポジトリを参照)学習・面接対策・厳選リストGitHub
Linux Basics for Hackersをもとにした学習ノートです。コマンド例や図、演習を使い、自分のラボでLinuxの基礎を学べます。
フォーク日 2026-10-19最終同期 2026-11-09ライセンス表記なし学習・面接対策・厳選リストGitHub
Androidのroot化ガイドとrootアプリ・モジュールをまとめた、コミュニティ編集の情報集です。Webサイトで検索やカテゴリ別の閲覧ができます。
フォーク日 2026-10-19最終同期 2026-10-30ライセンス: MIT学習・面接対策・厳選リストGitHub