colibri

colibri按需从磁盘读取专家,在本地运行大型开放语言模型,并通过仪表板或兼容 API 提供服务。

查看公开 issue

挑一个能复现的小 issue,用 AI 编程助手把它修好。

分享到 X许可证: Apache-2.0

概述

colibri 是一款纯 C 本地推理引擎,可在现有电脑上运行大型开放式混合专家语言模型。它将常驻模型部分和专家缓存保存在内存中,并按需从磁盘读取其余专家,减少一次性装入整个模型所需的内存。安装程序会检查硬件、推荐适配的模型,并准备引擎和模型。用户可通过浏览器仪表板使用,也可通过兼容 OpenAI 和 Anthropic 的 API 接入其他应用。

主要特点

  • 检查硬件,并推荐适合可用内存和磁盘空间的模型。
  • 按需从磁盘读取专家,而不是将整个模型载入内存。
  • 有编译器时在本机编译引擎,否则下载预编译引擎。
  • 支持显示进度并续传模型下载,并提供浏览器仪表板以及兼容 OpenAI 和 Anthropic 的 API 接口。

适用场景

适合希望在现有电脑上运行大型开放语言模型的人,也适用于没有 GPU 的设备。电脑需要为所选模型准备足够的内存和磁盘空间。

上游仓库
JustVugg/colibri
GitHub 上的 fork
Guo-astro/colibri
上游 Star 数
42k
分类
AI 智能体与大模型工具
编程语言
C
许可证
Apache-2.0
Fork 时间
2026-10-12
同步状态
已同步上次同步 2026-10-19