ds4
面向 Metal、CUDA 和 ROCm 的本地推理引擎。它让用户在自有硬件上运行开源大模型，而不依赖云服务。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: MIT
概述
DwarfStar 是一套面向 Metal、CUDA 和 ROCm 的本地推理引擎。它解决了在自有硬件上运行高性能开源模型的需求，并通过 GGUF 文件和 SSD 流式加载来支持较大的模型。
主要特点
- 可在本地运行 DeepSeek V4 Flash 和 PRO、GLM 以及 Qwen 模型
- 支持 Metal、NVIDIA CUDA 和 ROCm 硬件
- 使用项目生成的 GGUF 文件，并通过 SSD 流式加载处理较大模型
- 包含模型加载、提示词渲染、工具调用、KV 状态、HTTP 服务和编码代理的集成测试
适用场景
适合希望在自己的 Mac、CUDA 设备或 ROCm 系统上本地运行开源模型，而不依赖远程服务的用户。若你的模型和硬件符合项目支持范围，这会是合适的选择。
- 上游仓库
- antirez/ds4
- GitHub 上的 fork
- Guo-astro/ds4
- 上游 Star 数
- 24k
- 分类
- AI 智能体与大模型工具
- 编程语言
- C
- 许可证
- MIT
- Fork 时间
- 2026-10-03
- 同步状态
- 已同步上次同步 2026-11-09
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能，可搜索并总结社交平台、视频、新闻等近期信息，帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-09许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎，无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点，支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-09许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区，支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-09许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核，在本地运行开放模型，并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-09许可证: Apache-2.0AI 智能体与大模型工具GitHub