llm-internals
这是一套通过文章和视频循序讲解LLM概念、分词和注意力机制的学习资料，帮助读者理解语言模型如何处理文本。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: Apache-2.0
概述
LLM Internals是一套循序渐进的学习资料，帮助读者理解大语言模型如何处理文本并生成回答。它通过文章和视频链接，帮助读者从使用LLM进一步了解其背后的机制。内容从LLM基本概念开始，讲解分词、字节对编码（BPE）、停止标记，以及使用Query、Key和Value理解注意力的数学过程。读者可以按顺序阅读说明并观看相关视频。
主要特点
- 介绍LLM及RAG、MCP、智能体、微调和量化等相关概念。
- 讲解字符级、词级和子词级分词、BPE、令牌ID及解码。
- 介绍停止标记及其在生成文本和聊天轮次中的作用。
- 通过数值示例逐步讲解Query、Key和Value的注意力计算。
适用场景
适合希望逐个概念理解LLM如何处理文本的读者。若想通过文章和视频学习模型机制，而不只是使用LLM，可以选择这套资料。
- 上游仓库
- amitshekhariitbhu/llm-internals
- GitHub 上的 fork
- Guo-astro/llm-internals
- 上游 Star 数
- 1.8k
- 分类
- 学习、面试与精选清单
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-03
- 同步状态
- 上次同步已更新上次同步 2026-11-08
同分类更多: 学习、面试与精选清单
这是 CSAPP 第三版的中文学习资料，可用于阅读各章、核对练习答案，并在线或离线学习八个实验。
Fork 时间 2026-10-20上次同步 2026-11-08未声明许可证学习、面试与精选清单GitHub
面向大学生和初入职场者，提供处理合作、沟通、金钱等日常情境的判断与表达建议。
Fork 时间 2026-10-20上次同步 2026-11-08自定义许可证（见仓库）学习、面试与精选清单GitHub
这是一套基于《Linux Basics for Hackers》的结构化学习笔记，包含命令示例、图示和练习，供读者在个人实验环境中学习 Linux 基础。
Fork 时间 2026-10-19上次同步 2026-11-08未声明许可证学习、面试与精选清单GitHub
这是一个由社区整理的 Android root 资源库，收录操作指南、root 应用和模块，可在网站搜索或按类别浏览。
Fork 时间 2026-10-19上次同步 2026-10-30许可证: MIT学习、面试与精选清单GitHub