flash-moe
C言語とMetalで書かれた推論エンジンで、3970億パラメータの巨大な言語モデルをノートPC上で動かします。
再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。
Xで共有ライセンス表記なし
概要
Flash-MoEは、C、Objective-C、手作業で調整したMetalシェーダーで書かれた推論エンジンです。3970億パラメータのMixture-of-ExpertsモデルQwen3.5-397B-A17Bを、メモリ48GBのMacBook Proで動かします。209GBのモデルをSSDからMetalの計算パイプラインへ流し込み、Pythonやフレームワークは使いません。
主な特長
- 48GBのMacBook Proで397Bモデルを実行
- SSDからMetalでモデルをストリーミング
- 4ビットエキスパートで毎秒4.36トークンと報告
- 4ビット設定でツール呼び出しに対応
こんな人・用途に
巨大モデルを一般向けAppleハードで動かす方法に関心がある人向けです。2ビットは速い一方JSON出力とツール呼び出しが壊れるため、実用は4ビットです。
- アップストリーム
- danveloper/flash-moe
- GitHubのフォーク
- Guo-astro/flash-moe
- アップストリームのスター数
- 4.5k
- カテゴリ
- AIエージェントとLLMツール
- ライセンス
- ライセンス表記なしライセンスがない場合、著作者がすべての権利を保持します。コードを再利用する前にアップストリームの作者に確認してください。
- フォーク日
- 2026-03-22
- 同期状態
- 同期済み最終同期 2026-11-09
同じカテゴリ: AIエージェントとLLMツール
/last30daysは、SNSや動画、ニュースなどの最近の情報を調べて要約するAIエージェント用スキルです。話題の調査や準備に役立ちます。
フォーク日 2026-10-22最終同期 2026-11-09ライセンス: MITAIエージェントとLLMツールGitHub
GPUや機械学習フレームワークを使わず、CPUでKimi K3を動かすポータブルなC99推論エンジンです。巨大なチェックポイントをディスクから読み込み、限られたRAMでのテキスト生成やチャットに使えます。
フォーク日 2026-10-21最終同期 2026-11-09ライセンス: Apache-2.0AIエージェントとLLMツールGitHub
LayerFSは共有履歴上に書き込み可能なワークスペースを提供し、AIエージェントの並行作業を支えます。変更の保存、分岐、巻き戻し、マージに使えます。
フォーク日 2026-10-21最終同期 2026-11-09ライセンス: MITAIエージェントとLLMツールGitHub
Magnitudeはハードウェアに合わせてカーネルを調整し、オープンモデルをローカルで実行します。対応エージェントや互換クライアントから利用できます。
フォーク日 2026-10-19最終同期 2026-11-09ライセンス: Apache-2.0AIエージェントとLLMツールGitHub