how-to-train-your-gpt

这是一个从零构建 GPT 的学习指南。它把难懂的机器学习概念拆成可运行、带注释的步骤。

分享到 X许可证: MIT

概述

这个项目是一份从零构建现代语言模型的长篇注释教程。它按章节解释 GPT 的关键概念,包括分词、嵌入、位置编码、注意力、训练和推理,并配有可运行的 Python 代码。它适合想从内部理解大语言模型工作原理的人使用。

主要特点

  • 从零开始逐步构建 GPT
  • 学习分词、嵌入、注意力和训练
  • 按照可运行的 Python 代码和章节说明学习
  • 理解模型取舍与推理行为

适用场景

它最适合想从内部理解 GPT 的 Python 开发者、学生和工程师,而不只是调用 API。若你愿意阅读较长的注释式教程并逐步完成示例,它会很合适。

上游仓库
raiyanyahya/how-to-train-your-gpt
GitHub 上的 fork
Guo-astro/how-to-train-your-gpt
上游 Star 数
3.6k
分类
AI 智能体与大模型工具
许可证
MIT
Fork 时间
2026-10-05
同步状态
已同步上次同步 2026-10-09