shimmy
Shimmy是一个本地运行GGUF语言模型的OpenAI API兼容推理服务器，让现有AI工具通过单个Rust二进制文件使用本地GPU推理。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: Apache-2.0
概述
Shimmy是用于在本地运行GGUF语言模型的推理服务器，兼容OpenAI API，可连接现有工具，在用户自己的机器上运行模型。它采用单个Rust二进制文件和基于WebGPU的推理引擎，无需Python运行时或C++工具链。用户将兼容客户端连接到服务器，加载受支持的GGUF模型，即可在本地生成响应。文档列出的硬件包括独立显卡、集成显卡和Apple Silicon。
主要特点
- 通过兼容OpenAI API的接口提供GGUF模型服务。
- 使用单个Rust二进制文件和WebGPU推理引擎。
- 无需Python运行时或C++工具链即可运行。
- 支持在NVIDIA、AMD、Intel显卡、集成显卡和Apple Silicon上进行本地推理。
- 支持通过YaRN RoPE缩放扩展上下文。
适用场景
适合希望在本地运行受支持的GGUF模型，并连接现有OpenAI API工具的用户。如果倾向于无需Python或C++环境、基于Rust和WebGPU的推理服务器，也可以选择它。
- 上游仓库
- Michael-A-Kuykendall/shimmy
- GitHub 上的 fork
- Guo-astro/shimmy
- 上游 Star 数
- 6.0k
- 分类
- AI 智能体与大模型工具
- 编程语言
- Rust
- 许可证
- Apache-2.0
- Fork 时间
- 2026-10-05
- 同步状态
- 与上游分叉上次同步 2026-10-29
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能，可搜索并总结社交平台、视频、新闻等近期信息，帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎，无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点，支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区，支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核，在本地运行开放模型，并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub