LLMs-from-scratch
用PyTorch从零构建、预训练并微调类GPT语言模型的代码，配套同名书籍，用于学习大语言模型的工作原理。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X自定义许可证（见仓库）
概述
这是《Build a Large Language Model (From Scratch)》一书的官方代码仓库。它用 PyTorch 一步步实现类 GPT 大语言模型的开发、预训练和微调，配有文字、图示和示例。方法用于教学，思路与大型基础模型的构建类似，但规模较小。书中也包含加载更大预训练模型权重的代码。
主要特点
- 用 PyTorch 逐步构建类 GPT 模型的代码
- 涵盖预训练和微调
- 包含加载更大预训练模型权重的代码
- 以 Jupyter Notebook 形式提供
适用场景
适合想通过亲手编码来理解大语言模型原理的读者。内容偏教学，得到的是小模型，并配合该书使用。
- 上游仓库
- rasbt/LLMs-from-scratch
- GitHub 上的 fork
- Guo-astro/LLMs-from-scratch
- 上游 Star 数
- 106k
- 分类
- 学习、面试与精选清单
- 编程语言
- Jupyter Notebook
- 许可证
- 自定义许可证（见仓库）
- Fork 时间
- 2026-08-10
- 同步状态
- 已同步上次同步 2026-10-20
同分类更多: 学习、面试与精选清单
这是一套基于《Linux Basics for Hackers》的结构化学习笔记，包含命令示例、图示和练习，供读者在个人实验环境中学习 Linux 基础。
Fork 时间 2026-10-19上次同步 2026-10-20未声明许可证学习、面试与精选清单GitHub
这是一个由社区整理的 Android root 资源库，收录操作指南、root 应用和模块，可在网站搜索或按类别浏览。
Fork 时间 2026-10-19上次同步 2026-10-20许可证: MIT学习、面试与精选清单GitHub
这是自动更新并评级的游戏反编译、重编译、移植与重制项目目录，可按类型浏览并访问项目页面。
Fork 时间 2026-10-19上次同步 2026-10-20许可证: CC0-1.0学习、面试与精选清单GitHub
面向高层系统设计与数据结构与算法的开源学习手册。提供结构化、可自由阅读的课程资料和实践型学习内容。
Fork 时间 2026-10-18上次同步 2026-10-20许可证: CC-BY-SA-4.0学习、面试与精选清单GitHub