deltafin

Deltafin在本地运行完整、未剪枝的Kimi K3,并提供兼容OpenAI的API供聊天和编程代理使用,探索如何在消费级设备上保持模型质量。

分享到 X自定义许可证(见仓库)

概述

Deltafin是一个Rust项目,以原生二进制程序在单台设备上运行完整、未剪枝的2.8万亿参数Kimi K3。它保留全部16个专家,由K3决定每个输出词元;可选的小型草稿模型提出候选,再由K3验证。项目还提供兼容OpenAI的API,供本地聊天和编程代理调用,并列出macOS ARM64及Linux上的Metal/MPS、CUDA和CPU支持。

主要特点

  • 以全部16个专家运行完整、未剪枝的Kimi K3。
  • 可由小型草稿模型提出词元候选,再由Kimi K3验证。
  • 提供兼容OpenAI的API服务器,供本地聊天和编程代理使用。
  • 列出macOS ARM64和Linux支持,可使用Metal/MPS、CUDA或CPU。

适用场景

适合希望探索不剪枝运行超大型本地模型的研究者和爱好者,也适合需要兼容OpenAI的本地聊天或编程代理API的人。

上游仓库
gavamedia/deltafin
GitHub 上的 fork
Guo-astro/deltafin
上游 Star 数
847
分类
AI 智能体与大模型工具
编程语言
Rust
许可证
自定义许可证(见仓库)
Fork 时间
2026-10-13
同步状态
已同步上次同步 2026-10-14