swiftlet
Swiftlet在苹果设备上本地运行大型Qwen MoE模型，降低内存需求以支持本地推理。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: Apache-2.0
概述
Swiftlet是面向Qwen3-Next和Qwen3.5/3.6 MoE模型的Swift/Metal运行时。它仅将小型稠密核心保留在内存中，并按需从存储中流式加载专家权重，使大型模型可在苹果设备上本地推理并降低内存需求。
主要特点
- 在macOS和iOS设备上本地运行大型Qwen MoE模型
- 仅保留密集核心在内存中，并按需从存储加载专家权重
- 项目示例面向35B和80B模型规模
- 使用Swift和Metal实现本地推理
适用场景
适合在苹果设备上进行本地AI推理的开发者和爱好者，尤其是在内存限制较严的场景中。若需要在macOS或iOS环境中运行大型Qwen MoE模型而不依赖云端托管，它是一个实际选择。
- 上游仓库
- leonickson1/Swiftlet
- GitHub 上的 fork
- Guo-astro/swiftlet
- 上游 Star 数
- 667
- 分类
- AI 智能体与大模型工具
- 编程语言
- Swift
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-05
- 同步状态
- 已同步上次同步 2026-11-08
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能，可搜索并总结社交平台、视频、新闻等近期信息，帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎，无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点，支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区，支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核，在本地运行开放模型，并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub