harvey-labs
AIエージェントが実際の法務業務をどこまでこなせるかを測るオープンソースのベンチマークです。
再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。
Xで共有ライセンス: MIT
概要
Harvey LABはLegal Agent Benchmarkの略で、Harvey AIが公開するオープンソースのプロジェクトです。LLMエージェントが現実的な法務業務をどこまでこなせるかを測ります。指示、文書、採点基準を含むタスクのデータセットと、エージェントを実行して採点する実行ハーネスの2つで構成されます。チュートリアルではM&Aのデータルーム案件を例に、準備から比較ダッシュボードまでを説明しています。
主な特長
- 指示、文書、採点基準を含むタスクのデータセット
- エージェントを実行し評価するハーネス
- LLM審査員を用いた全項目合格方式の採点
- レポートと比較ダッシュボード
- モデルやタスクを追加するためのアダプター
こんな人・用途に
法務向けAIエージェントを開発または比較する研究者やチームで、共通のテストセットが必要な場合に向いています。READMEによれば、タスクとハーネスは拡充中です。
- アップストリーム
- harveyai/harvey-labs
- GitHubのフォーク
- Guo-astro/harvey-labs
- アップストリームのスター数
- 1.6k
- カテゴリ
- AIエージェントとLLMツール
- 言語
- Python
- ライセンス
- MIT
- フォーク日
- 2026-09-28
- 同期状態
- 同期済み最終同期 2026-11-09
同じカテゴリ: AIエージェントとLLMツール
/last30daysは、SNSや動画、ニュースなどの最近の情報を調べて要約するAIエージェント用スキルです。話題の調査や準備に役立ちます。
フォーク日 2026-10-22最終同期 2026-11-09ライセンス: MITAIエージェントとLLMツールGitHub
GPUや機械学習フレームワークを使わず、CPUでKimi K3を動かすポータブルなC99推論エンジンです。巨大なチェックポイントをディスクから読み込み、限られたRAMでのテキスト生成やチャットに使えます。
フォーク日 2026-10-21最終同期 2026-11-09ライセンス: Apache-2.0AIエージェントとLLMツールGitHub
LayerFSは共有履歴上に書き込み可能なワークスペースを提供し、AIエージェントの並行作業を支えます。変更の保存、分岐、巻き戻し、マージに使えます。
フォーク日 2026-10-21最終同期 2026-11-09ライセンス: MITAIエージェントとLLMツールGitHub
Magnitudeはハードウェアに合わせてカーネルを調整し、オープンモデルをローカルで実行します。対応エージェントや互換クライアントから利用できます。
フォーク日 2026-10-19最終同期 2026-11-09ライセンス: Apache-2.0AIエージェントとLLMツールGitHub