exo

exo将多台设备连接为本地 AI 集群,让你运行单台设备无法承载的大型模型。可通过内置仪表盘或兼容 API 与模型交互。

分享到 X许可证: Apache-2.0

概述

exo 是一款将多台设备连接为本地 AI 集群的软件,可运行单台设备无法承载的大型模型。它会自动发现设备,并根据硬件资源及网络连接的带宽和延迟来决定如何拆分模型。用户可以通过内置仪表盘管理集群并与模型对话,也可以使用兼容 OpenAI、Claude 和 Ollama 的 API 连接现有客户端。它还支持从 HuggingFace 加载自定义模型。

主要特点

  • 自动发现运行 exo 的其他设备。
  • 根据硬件资源和网络拓扑在多台设备间分配模型。
  • 提供用于管理集群和与模型对话的仪表盘。
  • 兼容 OpenAI、Claude 和 Ollama API,并支持 HuggingFace 自定义模型。

适用场景

适合希望用多台兼容设备在本地运行 AI 模型的人。当模型超出单台设备的承载能力,或需要连接现有 API 客户端时,可以使用它。

上游仓库
exo-explore/exo
GitHub 上的 fork
Guo-astro/exo
上游 Star 数
48k
分类
AI 智能体与大模型工具
编程语言
Python
许可证
Apache-2.0
Fork 时间
2026-10-11
同步状态
已同步上次同步 2026-10-12