shimmy
ShimmyはGGUF形式の言語モデルをローカルで動かす、OpenAI API互換の推論サーバーです。既存のAIツールからGPU推論を利用できます。
再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。
Xで共有ライセンス: Apache-2.0
概要
ShimmyはGGUF形式の言語モデルをローカルで動かす推論サーバーです。OpenAI API互換のため、対応する既存ツールを接続して自分のマシン上でモデルを実行できます。単一のRustバイナリとWebGPUベースの推論エンジンを使い、PythonランタイムやC++ツールチェーンは不要です。対応するGGUFモデルを読み込み、NVIDIA、AMD、IntelのGPU、統合GPU、Apple Siliconで応答を生成します。
主な特長
- GGUFモデルをOpenAI API互換のサーバーとして提供します。
- 単一のRustバイナリとWebGPU推論エンジンを使用します。
- PythonランタイムやC++ツールチェーンなしで動作します。
- NVIDIA、AMD、IntelのGPU、統合GPU、Apple Siliconでローカル推論を行います。
- YaRN RoPEスケーリングによる拡張コンテキストに対応します。
こんな人・用途に
対応するGGUFモデルをローカルで実行し、OpenAI APIを使う既存ツールに接続したい人向けです。PythonやC++の環境を使わず、RustとWebGPUベースのサーバーを選びたい場合に適しています。
- アップストリーム
- Michael-A-Kuykendall/shimmy
- GitHubのフォーク
- Guo-astro/shimmy
- アップストリームのスター数
- 6.0k
- カテゴリ
- AIエージェントとLLMツール
- 言語
- Rust
- ライセンス
- Apache-2.0
- フォーク日
- 2026-10-05
- 同期状態
- アップストリームと分岐最終同期 2026-10-29
同じカテゴリ: AIエージェントとLLMツール
/last30daysは、SNSや動画、ニュースなどの最近の情報を調べて要約するAIエージェント用スキルです。話題の調査や準備に役立ちます。
フォーク日 2026-10-22最終同期 2026-11-08ライセンス: MITAIエージェントとLLMツールGitHub
GPUや機械学習フレームワークを使わず、CPUでKimi K3を動かすポータブルなC99推論エンジンです。巨大なチェックポイントをディスクから読み込み、限られたRAMでのテキスト生成やチャットに使えます。
フォーク日 2026-10-21最終同期 2026-11-08ライセンス: Apache-2.0AIエージェントとLLMツールGitHub
LayerFSは共有履歴上に書き込み可能なワークスペースを提供し、AIエージェントの並行作業を支えます。変更の保存、分岐、巻き戻し、マージに使えます。
フォーク日 2026-10-21最終同期 2026-11-08ライセンス: MITAIエージェントとLLMツールGitHub
Magnitudeはハードウェアに合わせてカーネルを調整し、オープンモデルをローカルで実行します。対応エージェントや互換クライアントから利用できます。
フォーク日 2026-10-19最終同期 2026-11-08ライセンス: Apache-2.0AIエージェントとLLMツールGitHub