time-to-first-token
面向希望学习生产环境LLM推理服务的工程师，提供为期10周的学习路线。构建并优化一个OpenAI兼容推理服务，最后发布可复现的基准测试。
分享到 X许可证: Apache-2.0
概述
本仓库为希望在生产环境提供LLM推理服务的工程师设计了为期10周的学习路线。学习者通过50次、每次30分钟的课程，逐步构建一个OpenAI兼容推理服务，而非开展彼此无关的实验。路线包括将服务部署到租用的GPU、添加监控并进行压力测试，随后学习量化、推测解码和成本感知路由等优化方式。最终完成可复现的基准测试报告。适合熟悉Python、Transformer概念和命令行的人。
主要特点
- 课程为期10周，共50次，每次30分钟，并安排缓冲日用于补进度。
- 构建一个OpenAI兼容推理服务，并将其部署到租用的GPU上。
- 为服务添加监控并进行超过1,000路并发请求的压力测试，跟踪TTFT、延迟、吞吐量和成本等指标。
- 学习量化、推测解码和成本感知路由，并发布可复现的基准测试。
适用场景
适合熟悉Python、Transformer概念和命令行，并希望实践LLM推理服务运行与优化的工程师。无需具备服务部署、Kubernetes或CUDA经验。
- 上游仓库
- patchy631/time-to-first-token
- GitHub 上的 fork
- Guo-astro/time-to-first-token
- 上游 Star 数
- 973
- 分类
- 学习、面试与精选清单
- 编程语言
- HTML
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-12
- 同步状态
- 已同步上次同步 2026-10-13
同分类更多: 学习、面试与精选清单
这是一个整理 Telegram 机器人、群组、频道、工具和开发库的资源列表，可用于查找 Telegram 生态中的服务与资料。
Fork 时间 2026-10-12上次同步 2026-10-13未声明许可证学习、面试与精选清单GitHub
这是一个远程工作职位与资源精选目录，可用于查找招聘网站、工作建议、社群和远程办公工具。
Fork 时间 2026-10-12上次同步 2026-10-13未声明许可证学习、面试与精选清单GitHub
这是一份面向 AI 时代终身学习的中英双语指南，通过小行动和记录，帮助读者学习英语与 AI、完成真实项目并重建生活节律。
Fork 时间 2026-10-11上次同步 2026-10-13自定义许可证（见仓库）学习、面试与精选清单GitHub
这是一款可在多种智能体环境中使用的学习技能，能将书籍、PDF等材料转为可追溯的互动学习网页，帮助用户理解、做笔记并检验学习成果。
Fork 时间 2026-10-10上次同步 2026-10-13许可证: MIT学习、面试与精选清单GitHub