backburner
Backburner通过USB-C连接的iPhone协助Mac本地运行Qwen3.8-27B,减少提示词处理等待,并扩展本地大模型会话的上下文。
挑一个能复现的小 issue,用 AI 编程助手把它修好。
分享到 X许可证: MIT
概述
Backburner将Mac与通过USB-C连接的iPhone协同,用于本地运行Qwen3.8-27B。基于llama.cpp的引擎把提示词处理分配到两台设备;当Mac内存限制长上下文时,iPhone保存较早的上下文并计算注意力,从而减少提示词读取等待,并以8位精度容纳更长上下文。效果来自已测试的Apple设备,不代表所有设备都能达到相同性能。
主要特点
- 将提示词处理的模型层分配给Mac和iPhone。
- 利用iPhone内存和算力处理较早的上下文,扩展可用上下文长度。
- 基于llama.cpp的分支包含Mac专用内核和DFlash2推测解码。
适用场景
适合希望在本地运行Qwen3.8-27B,并拥有兼容iPhone和USB-C连接的Mac用户。处理长提示词或需要更长上下文时尤其适用。
- 上游仓库
- StayLameBro/backburner
- GitHub 上的 fork
- Guo-astro/backburner
- 上游 Star 数
- 1.2k
- 分类
- AI 智能体与大模型工具
- 编程语言
- Python
- 许可证
- MIT
- Fork 时间
- 2026-10-05
- 同步状态
- 已同步上次同步 2026-11-08
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能,可搜索并总结社交平台、视频、新闻等近期信息,帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎,无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点,支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区,支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核,在本地运行开放模型,并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub