minimind

MiniMind是一个开源项目,帮助用户从零训练小型语言模型并学习完整的LLM流程,通过实际训练和微调理解模型的工作方式。

分享到 X许可证: Apache-2.0

概述

MiniMind是一个开源项目,用于从零构建和训练小型语言模型,帮助用户不依赖高层训练抽象来学习LLM内部机制。项目提供PyTorch模型结构实现,以及涵盖预训练、监督微调、LoRA、偏好优化、工具使用和蒸馏的训练流程。用户可以阅读代码,在个人GPU硬件上训练和评估模型,并通过轻量API或聊天界面提供服务。仓库还包含数据集和分词器训练代码。

主要特点

  • 基于PyTorch的模型结构和分词器训练代码
  • 涵盖预训练、微调、LoRA、偏好优化、工具使用和蒸馏的训练流程
  • 数据集和模型评估支持
  • 轻量API服务端和Streamlit聊天界面

适用场景

适合希望通过复现小模型训练来理解LLM内部机制的学习者和开发者,也适用于在个人GPU硬件上进行实验。

上游仓库
jingyaogong/minimind
GitHub 上的 fork
Guo-astro/minimind
上游 Star 数
64k
分类
AI 智能体与大模型工具
许可证
Apache-2.0
Fork 时间
2026-10-14
同步状态
已同步上次同步 2026-10-17