LLMs-from-scratch
PyTorchでGPT型の言語モデルを一から作り、事前学習と微調整まで進めるコードです。書籍に対応し、LLMの仕組みを学べます。
Xで共有独自ライセンス(リポジトリを参照)
概要
書籍 Build a Large Language Model (From Scratch) の公式コードリポジトリです。GPT のような LLM を PyTorch で開発、事前学習、ファインチューニングするコードを、説明、図、例とともに段階的に進めます。手法は教育目的で、大規模な基盤モデルの作り方を小さな規模で再現するものです。より大きな学習済みモデルの重みを読み込むコードも扱います。
主な特長
- PyTorch で GPT 風 LLM を段階的に構築するコード
- 事前学習とファインチューニングを扱う
- 大きな学習済みモデルの重みを読み込むコードを含む
- Jupyter Notebook 形式
こんな人・用途に
LLM の仕組みを自分でコードを書いて理解したい読者向けです。学習用で小さなモデルを作る内容であり、書籍に付随するものです。
- アップストリーム
- rasbt/LLMs-from-scratch
- GitHubのフォーク
- Guo-astro/LLMs-from-scratch
- アップストリームのスター数
- 106k
- カテゴリ
- 学習・面接対策・厳選リスト
- 言語
- Jupyter Notebook
- ライセンス
- 独自ライセンス(リポジトリを参照)
- フォーク日
- 2026-08-10
- 同期状態
- 同期済み最終同期 2026-09-29
同じカテゴリ: 学習・面接対策・厳選リスト
2025年から2026年の候補者が実際に聞かれたDevOps、SRE、クラウドの面接質問集で、面接対策に使えます。
フォーク日 2026-09-28最終同期 2026-09-29ライセンス表記なし学習・面接対策・厳選リストGitHub
コマンドラインでリモートLinuxサーバーを管理するスキルを学べる無料コースです。サーバー管理の入門者向けです。
フォーク日 2026-09-26最終同期 2026-09-29独自ライセンス(リポジトリを参照)学習・面接対策・厳選リストGitHub
著者がGoogle面接の準備で解いたLeetCodeなどの問題と解答集で、コーディング面接の練習に使えます。
フォーク日 2026-09-26最終同期 2026-09-29ライセンス表記なし学習・面接対策・厳選リストGitHub
『新概念英語』全4巻のオンライン学習サイトで、本文の音声朗読、1文ずつの再生、英中対訳表示に対応します。
フォーク日 2026-09-25最終同期 2026-09-29ライセンス: MIT学習・面接対策・厳選リストGitHub