bitnet
一个用于通过命令行准备和运行受支持的量化 1 位大型语言模型的 C++ 框架。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: MIT
概述
bitnet.cpp 是一个用于运行 1 位大型语言模型的 C++ 推理框架，提供准备和运行受支持量化模型的命令行流程。使用设置脚本指定受支持的模型和量化类型，再提供模型文件与提示词来执行推理。仓库还说明了日志和预调优内核参数的选项。
主要特点
- 准备受支持的模型，并选择 i2_s 或 tl1 量化类型。
- 通过模型文件和提示词运行命令行推理；文档还列出日志和预调优内核选项。
适用场景
适合希望通过 C++ 命令行流程，对受支持的量化 1 位大型语言模型进行推理的开发者。
- 上游仓库
- microsoft/BitNet
- GitHub 上的 fork
- Guo-astro/bitnet
- 上游 Star 数
- 41k
- 分类
- AI 智能体与大模型工具
- 许可证
- MIT
- Fork 时间
- 2026-10-10
- 同步状态
- 已同步上次同步 2026-11-08
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能，可搜索并总结社交平台、视频、新闻等近期信息，帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎，无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点，支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区，支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核，在本地运行开放模型，并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub