time-to-first-token
面向希望学习生产环境LLM推理服务的工程师，提供为期10周的学习路线。构建并优化一个OpenAI兼容推理服务，最后发布可复现的基准测试。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: Apache-2.0
概述
本仓库为希望在生产环境提供LLM推理服务的工程师设计了为期10周的学习路线。学习者通过50次、每次30分钟的课程，逐步构建一个OpenAI兼容推理服务，而非开展彼此无关的实验。路线包括将服务部署到租用的GPU、添加监控并进行压力测试，随后学习量化、推测解码和成本感知路由等优化方式。最终完成可复现的基准测试报告。适合熟悉Python、Transformer概念和命令行的人。
主要特点
- 课程为期10周，共50次，每次30分钟，并安排缓冲日用于补进度。
- 构建一个OpenAI兼容推理服务，并将其部署到租用的GPU上。
- 为服务添加监控并进行超过1,000路并发请求的压力测试，跟踪TTFT、延迟、吞吐量和成本等指标。
- 学习量化、推测解码和成本感知路由，并发布可复现的基准测试。
适用场景
适合熟悉Python、Transformer概念和命令行，并希望实践LLM推理服务运行与优化的工程师。无需具备服务部署、Kubernetes或CUDA经验。
- 上游仓库
- patchy631/time-to-first-token
- GitHub 上的 fork
- Guo-astro/time-to-first-token
- 上游 Star 数
- 1.0k
- 分类
- 学习、面试与精选清单
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-12
- 同步状态
- 已同步上次同步 2026-11-08
同分类更多: 学习、面试与精选清单
这是 CSAPP 第三版的中文学习资料，可用于阅读各章、核对练习答案，并在线或离线学习八个实验。
Fork 时间 2026-10-20上次同步 2026-11-08未声明许可证学习、面试与精选清单GitHub
面向大学生和初入职场者，提供处理合作、沟通、金钱等日常情境的判断与表达建议。
Fork 时间 2026-10-20上次同步 2026-11-08自定义许可证（见仓库）学习、面试与精选清单GitHub
这是一套基于《Linux Basics for Hackers》的结构化学习笔记，包含命令示例、图示和练习，供读者在个人实验环境中学习 Linux 基础。
Fork 时间 2026-10-19上次同步 2026-11-08未声明许可证学习、面试与精选清单GitHub
这是一个由社区整理的 Android root 资源库，收录操作指南、root 应用和模块，可在网站搜索或按类别浏览。
Fork 时间 2026-10-19上次同步 2026-10-30许可证: MIT学习、面试与精选清单GitHub