backburner

Backburner通过USB-C连接的iPhone协助Mac本地运行Qwen3.8-27B,减少提示词处理等待,并扩展本地大模型会话的上下文。

查看公开 issue

挑一个能复现的小 issue,用 AI 编程助手把它修好。

分享到 X许可证: MIT

概述

Backburner将Mac与通过USB-C连接的iPhone协同,用于本地运行Qwen3.8-27B。基于llama.cpp的引擎把提示词处理分配到两台设备;当Mac内存限制长上下文时,iPhone保存较早的上下文并计算注意力,从而减少提示词读取等待,并以8位精度容纳更长上下文。效果来自已测试的Apple设备,不代表所有设备都能达到相同性能。

主要特点

  • 将提示词处理的模型层分配给Mac和iPhone。
  • 利用iPhone内存和算力处理较早的上下文,扩展可用上下文长度。
  • 基于llama.cpp的分支包含Mac专用内核和DFlash2推测解码。

适用场景

适合希望在本地运行Qwen3.8-27B,并拥有兼容iPhone和USB-C连接的Mac用户。处理长提示词或需要更长上下文时尤其适用。

上游仓库
StayLameBro/backburner
GitHub 上的 fork
Guo-astro/backburner
上游 Star 数
1.2k
分类
AI 智能体与大模型工具
编程语言
Python
许可证
MIT
Fork 时间
2026-10-05
同步状态
已同步上次同步 2026-11-08