kimi-k3-in-c
这是一个可移植的 C99 推理引擎，无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点，支持在有限内存下进行文本生成或聊天。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: Apache-2.0
概述
kimi-k3-in-c 是一个可移植的 C99 推理引擎，无需 BLAS、机器学习框架或 GPU 即可运行 Kimi K3。它通过从磁盘读取模型数据来应对 1.56 TB 检查点的内存需求；README 报告的峰值内存使用量为 8.24 GB。更多内存可以减少磁盘等待。指定模型和分词器文件后，可进行文本生成或纯文本 XTML 聊天。增量生成会在各个生成词元之间保留状态。
主要特点
- 从磁盘读取模型数据，以支持有限内存下的运行。
- 根据提示生成文本，并可设置生成词元数和停止 ID。
- 增量模式会在后续词元间保留 KV 缓存和循环状态。
- 支持带多轮历史的纯文本 XTML 聊天。
适用场景
适合想在纯 CPU 或内存有限的机器上尝试 Kimi K3 推理的开发者。如果模型需要从磁盘读取，生成速度会较慢。
- 上游仓库
- FareedKhan-dev/kimi-k3-in-c
- GitHub 上的 fork
- Guo-astro/kimi-k3-in-c
- 上游 Star 数
- 9.1k
- 分类
- AI 智能体与大模型工具
- 编程语言
- C
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-21
- 同步状态
- 已同步上次同步 2026-10-22
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能，可搜索并总结社交平台、视频、新闻等近期信息，帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-10-22许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核，在本地运行开放模型，并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-10-22许可证: Apache-2.0AI 智能体与大模型工具GitHub
为研究者提供从想法评估、文献调研到论文写作与投稿前检查的结构化 AI 辅助，弥补通用 AI 在科研判断上的不足。
Fork 时间 2026-10-18上次同步 2026-10-22自定义许可证（见仓库）AI 智能体与大模型工具GitHub
RLVE为语言模型强化学习提供可调整难度、可验证的环境，用于生成问题并评估模型输出。
Fork 时间 2026-10-17上次同步 2026-10-22许可证: MITAI 智能体与大模型工具GitHub