exo
exo将多台设备连接为本地 AI 集群,让你运行单台设备无法承载的大型模型。可通过内置仪表盘或兼容 API 与模型交互。
挑一个能复现的小 issue,用 AI 编程助手把它修好。
分享到 X许可证: Apache-2.0
概述
exo 是一款将多台设备连接为本地 AI 集群的软件,可运行单台设备无法承载的大型模型。它会自动发现设备,并根据硬件资源及网络连接的带宽和延迟来决定如何拆分模型。用户可以通过内置仪表盘管理集群并与模型对话,也可以使用兼容 OpenAI、Claude 和 Ollama 的 API 连接现有客户端。它还支持从 HuggingFace 加载自定义模型。
主要特点
- 自动发现运行 exo 的其他设备。
- 根据硬件资源和网络拓扑在多台设备间分配模型。
- 提供用于管理集群和与模型对话的仪表盘。
- 兼容 OpenAI、Claude 和 Ollama API,并支持 HuggingFace 自定义模型。
适用场景
适合希望用多台兼容设备在本地运行 AI 模型的人。当模型超出单台设备的承载能力,或需要连接现有 API 客户端时,可以使用它。
- 上游仓库
- exo-explore/exo
- GitHub 上的 fork
- Guo-astro/exo
- 上游 Star 数
- 48k
- 分类
- AI 智能体与大模型工具
- 编程语言
- Python
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-11
- 同步状态
- 已同步上次同步 2026-11-08
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能,可搜索并总结社交平台、视频、新闻等近期信息,帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎,无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点,支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区,支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核,在本地运行开放模型,并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub