time-to-first-token

概要

本リポジトリは、LLMを本番環境で提供したいエンジニア向けの10週間の学習ロードマップです。50回の30分セッションを通じ、個別の実験ではなく、OpenAI互換の推論サービスを一つ構築します。レンタルGPUにデプロイし、計測と負荷テストを行った後、量子化、投機的デコード、コストを考慮したルーティングなどを学びます。最後に再現可能なベンチマークをまとめます。Python、Transformerの概念、コマンドラインに慣れた人が対象です。

主な特長

• 10週間、各30分のセッション50回で構成され、遅れを取り戻すための予備日もあります。
• OpenAI互換の推論サービスを一つ構築し、レンタルGPUにデプロイします。
• サービスを計測し、TTFT、レイテンシ、スループット、コストなどを追跡しながら、同時接続1,000件超の負荷テストを行います。
• 量子化、投機的デコード、コストを考慮したルーティングを学び、再現可能なベンチマークを公開します。

こんな人・用途に

Python、Transformerの概念、コマンドラインに慣れ、LLM推論の実行と最適化を実践的に学びたいエンジニア向けです。サービング、Kubernetes、CUDAの経験は必要ありません。