swiftlet
Swiftlet在苹果设备上本地运行大型Qwen MoE模型，降低内存需求以支持本地推理。
分享到 X许可证: Apache-2.0
概述
Swiftlet是面向Qwen3-Next和Qwen3.5/3.6 MoE模型的Swift/Metal运行时。它仅将小型稠密核心保留在内存中，并按需从存储中流式加载专家权重，使大型模型可在苹果设备上本地推理并降低内存需求。
主要特点
- 在macOS和iOS设备上本地运行大型Qwen MoE模型
- 仅保留密集核心在内存中，并按需从存储加载专家权重
- 项目示例面向35B和80B模型规模
- 使用Swift和Metal实现本地推理
适用场景
适合在苹果设备上进行本地AI推理的开发者和爱好者，尤其是在内存限制较严的场景中。若需要在macOS或iOS环境中运行大型Qwen MoE模型而不依赖云端托管，它是一个实际选择。
- 上游仓库
- leonickson1/Swiftlet
- GitHub 上的 fork
- Guo-astro/swiftlet
- 上游 Star 数
- 654
- 分类
- AI 智能体与大模型工具
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-05
- 同步状态
- 已同步上次同步 2026-10-11
同分类更多: AI 智能体与大模型工具
Hello-Agents是学习智能体原理与实践的教程，带领读者从基础知识入门，逐步构建智能体系统和应用。
Fork 时间 2026-10-10上次同步 2026-10-11自定义许可证（见仓库）AI 智能体与大模型工具GitHub
OpenSRE 是一个开源框架，用于构建 AI 智能体，借助你的基础设施工具和工作流调查生产事故。
Fork 时间 2026-10-10上次同步 2026-10-11许可证: Apache-2.0AI 智能体与大模型工具GitHub
Context Mode帮助AI编程代理减少上下文占用，并在对话压缩后延续工作。它通过MCP和钩子处理工具输出、会话记忆，并在支持的平台间进行路由。
Fork 时间 2026-10-10上次同步 2026-10-11自定义许可证（见仓库）AI 智能体与大模型工具GitHub
ARTEX 是一款用于资产探索和测试过程审查的自托管 AI 渗透测试系统。它在一个界面中呈现任务、发现结果、资产数据和审批流程。
Fork 时间 2026-10-10上次同步 2026-10-11许可证: AGPL-3.0AI 智能体与大模型工具GitHub