magnitude

概要

Magnitudeは、オープンモデルをローカルで動かすオープンソースの推論エンジン兼デスクトップアプリです。モデルのダウンロード時に使用するハードウェア向けにカーネルを調整し、出力を変えずに速度の向上を目指します。アプリでモデルを探してダウンロードし、対応エージェントにワンクリックで接続するか、OpenAI互換APIを利用できます。Apple Silicon、NVIDIAおよびAMDのGPU、CPUのみの環境に対応し、macOS、Linux、Windowsで動作します。プロンプトとモデルは端末内に保持されます。

主な特長

• モデルのダウンロード時に、使用するハードウェア向けにカーネルを調整します。
• デスクトップアプリでモデルを探してダウンロードできます。
• 対応エージェントにワンクリックで接続でき、OpenAI互換APIも利用できます。
• macOS、Linux、Windowsで、Apple Silicon、NVIDIA・AMD GPU、またはCPUのみの環境で動作します。
• プロンプトとモデルを端末内に保持します。

こんな人・用途に

オープンモデルをローカルで動かし、普段使っているエージェントに接続したい人に適しています。ハードウェアに合わせたカーネル調整を利用したい場合にも選べます。