uzu
uzu 是一款在应用中运行 AI 模型的推理引擎，可下载模型并集成聊天功能，减少对远程推理服务的依赖。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: MIT
概述
uzu 是一个用 Rust 编写的推理引擎，可在应用内运行 AI 模型，而不必将提示发送到远程推理服务。它适用于希望在设备上完成推理、将数据留在设备上并避免按请求支付推理费用的场景。开发者配置引擎、选择并下载模型，再创建聊天会话并获取回复。项目还提供 Python、TypeScript 和 Swift 语言绑定，并支持 Apple 设备的统一内存。
主要特点
- 用于配置模型和创建聊天会话的高级 API
- 下载模型并跟踪下载进度
- 可追踪计算结果，以便与源实现核对
- 提供 Python、TypeScript 和 Swift 绑定，并支持 Apple 设备的统一内存
适用场景
适合希望在应用中集成 AI 模型推理和聊天功能的开发者。当优先考虑在应用内完成推理并避免远程推理费用时，可以选择它。
- 上游仓库
- trymirai/uzu
- GitHub 上的 fork
- Guo-astro/uzu
- 上游 Star 数
- 3.2k
- 分类
- AI 智能体与大模型工具
- 编程语言
- Rust
- 许可证
- MIT
- Fork 时间
- 2026-10-09
- 同步状态
- 上次同步已更新上次同步 2026-11-08
同分类更多: AI 智能体与大模型工具
/last30days是一款AI代理技能，可搜索并总结社交平台、视频、新闻等近期信息，帮助用户研究趋势和做准备。
Fork 时间 2026-10-22上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
这是一个可移植的 C99 推理引擎，无需 GPU 或机器学习框架即可在 CPU 上运行 Kimi K3。它从磁盘读取大型模型检查点，支持在有限内存下进行文本生成或聊天。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub
LayerFS在共享历史上为智能体提供可写工作区，支持并行协作。可用它保存更改、创建分支、回退和合并。
Fork 时间 2026-10-21上次同步 2026-11-08许可证: MITAI 智能体与大模型工具GitHub
Magnitude会根据硬件调整内核，在本地运行开放模型，并可连接兼容的智能体或客户端。
Fork 时间 2026-10-19上次同步 2026-11-08许可证: Apache-2.0AI 智能体与大模型工具GitHub