llm-internals

概要

LLM Internalsは、大規模言語モデルがテキストを処理し、応答を生成する仕組みを段階的に学ぶための資料です。LLMを使うだけでなく、その仕組みを理解できるよう、記事と動画へのリンクで解説します。LLMの基本概念から始まり、トークン化、BPE、停止トークン、Query・Key・Valueを使ったAttentionの数式まで扱います。説明を順に読み、関連動画も見ながら学べます。

主な特長

• LLMと、RAG、MCP、エージェント、ファインチューニング、量子化などの関連概念を紹介します。
• 文字単位・単語単位・サブワード単位のトークン化、BPE、トークンID、デコードを解説します。
• 停止トークンと、生成テキストやチャットのターンにおける役割を扱います。
• 数値例を使ってQuery、Key、ValueによるAttentionの計算を順に説明します。

こんな人・用途に

LLMがテキストを処理する仕組みを、概念ごとに理解したい人に役立ちます。LLMを使うだけでなく、記事や動画の解説を通じて学びたいときに向いています。