nanochat
精简易改的代码库,可在单个GPU节点上低成本训练自己的类ChatGPT小模型,涵盖分词、预训练、微调、评估和推理。
挑一个能复现的小 issue,用 AI 编程助手把它修好。
分享到 X许可证: MIT
概述
nanochat是一个精简、易于修改的代码库,用于在单个GPU节点上训练自己的小型ChatGPT式语言模型。它覆盖分词、预训练、微调、评估和推理,并可通过简单的命令行与训练好的模型对话。只需设置depth,也就是Transformer的层数,其余超参数就会自动确定。README称,在8XH100节点上约两小时、花费约48美元即可训练出GPT-2水平的模型。
主要特点
- 覆盖分词、预训练、微调、评估和推理
- 代码精简,可在单个GPU节点运行
- 只设一个depth,其他超参数自动推算
- 通过简单命令行与训练好的模型对话
适用场景
适合想低成本理解并改造完整LLM训练流程的学习者和研究者。项目还维护着GPT-2速通排行榜。
- 上游仓库
- karpathy/nanochat
- GitHub 上的 fork
- Guo-astro/nanochat
- 上游 Star 数
- 60k
- 分类
- AI 智能体与大模型工具
- 编程语言
- Python
- 许可证
- MIT
- Fork 时间
- 2025-10-14
- 同步状态
- 已同步上次同步 2026-11-09
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能,可搜索并总结社交平台、视频、新闻等近期信息,帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-09许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎,无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点,支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-09许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区,支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-09许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核,在本地运行开放模型,并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-09许可证: Apache-2.0AI 智能体与大模型工具GitHub