train-llm-from-scratch
用PyTorch从零训练自己的Transformer语言模型的分步教程，涵盖从原始文本到生成和对齐。适合想了解大模型原理的学习者。
分享到 X许可证: MIT
概述
这是一套基于《Attention Is All You Need》论文、用PyTorch训练自己的Transformer语言模型的分步教程和脚本。内容从原始文本和分词开始，得到基础模型，再依次进行监督微调、奖励模型、PPO、DPO和GRPO，最后是评估与对话。算法全部用原生PyTorch手写，不依赖trl、peft或transformers。作者称用单张GPU即可训练百万或十亿参数规模的模型。
主要特点
- 用原生PyTorch从零实现Transformer
- 从原始文本到预训练基础模型的完整流程
- 涵盖SFT、奖励模型、PPO、DPO和GRPO
- 不依赖trl、peft和transformers
- 最后包含评估与对话
适用场景
想通过亲手阅读和运行每一步来理解语言模型如何构建与对齐的学习者。这是教学项目，示例输出来自一个约1300万参数的小模型。
- 上游仓库
- FareedKhan-dev/train-llm-from-scratch
- GitHub 上的 fork
- Guo-astro/train-llm-from-scratch
- 上游 Star 数
- 12k
- 分类
- AI 智能体与大模型工具
- 编程语言
- Python
- 许可证
- MIT
- Fork 时间
- 2026-09-25
- 同步状态
- 已同步上次同步 2026-10-14
同分类更多: AI 智能体与大模型工具
Deltafin在本地运行完整、未剪枝的Kimi K3，并提供兼容OpenAI的API供聊天和编程代理使用，探索如何在消费级设备上保持模型质量。
Fork 时间 2026-10-13上次同步 2026-10-14自定义许可证（见仓库）AI 智能体与大模型工具GitHub
这是关于大语言模型智能体的综述和论文列表，梳理智能体框架、应用、智能体社会及未解决问题的研究。
Fork 时间 2026-10-12上次同步 2026-10-14未声明许可证AI 智能体与大模型工具GitHub
Skales是一款面向桌面和移动设备的个人AI代理，可处理电脑上的文件和应用，帮助完成多步骤目标、自动化任务和编程。
Fork 时间 2026-10-12上次同步 2026-10-14自定义许可证（见仓库）AI 智能体与大模型工具GitHub
YuE2 根据歌词和风格提示生成可编辑的歌曲方案，并制作包含人声和伴奏的音乐。它还支持改编为新风格的翻唱和对话式编辑。
Fork 时间 2026-10-12上次同步 2026-10-14许可证: Apache-2.0AI 智能体与大模型工具GitHub