ds4

Metal、CUDA、ROCm向けのローカル推論エンジンです。高性能なオープン重みモデルを、クラウドに依存せず個人のハードウェアで動かすために使います。

Xで共有ライセンス: MIT

概要

DwarfStarは、Metal、CUDA、ROCm対応のローカル推論エンジンです。クラウドに依存せず、個人のハードウェアで高性能なオープン重みモデルを動かすための仕組みを提供します。GGUFファイルを使い、大きなモデルにはSSDストリーミングを活用します。

主な特長

  • DeepSeek V4 FlashやPRO、GLM、Qwenのモデルをローカルで動かす
  • Metal、NVIDIA CUDA、ROCmのハードウェアに対応する
  • プロジェクト生成のGGUFファイルとSSDストリーミングを使う
  • モデル読み込み、プロンプト描画、ツール呼び出し、KV状態、HTTPサーバー、コーディングエージェントの統合テストを含む

こんな人・用途に

自分のMac、CUDA環境、ROCm環境でオープン重みモデルをクラウドではなくローカルで動かしたい人向けです。対応モデルとハードウェアが合う場合に選ぶとよいです。

アップストリーム
antirez/ds4
GitHubのフォーク
Guo-astro/ds4
アップストリームのスター数
23k
カテゴリ
AIエージェントとLLMツール
言語
C
ライセンス
MIT
フォーク日
2026-10-03
同期状態
同期済み最終同期 2026-10-04

同じカテゴリ: AIエージェントとLLMツール