laya

多语言决策模型库,对文本一次快速推理即可完成选择、打分或是非判断。带有按请求选择合适模型的路由器,适用于分类和路由。

分享到 X许可证: Apache-2.0

概述

Laya是一个Python库,用一次前向计算就对文本做出带类型的判断,不需要逐个生成token。它能用100多种语言回答选择、打分和是非问题,README给出的单次请求耗时约33毫秒。路由器会为每个请求挑选合适的检查点,例如英文或多语言版本。你传入一段文本和一组问题,就能得到带概率的答案。可用pip安装,并有HTTP服务、MCP、LangChain、LlamaIndex、CrewAI和ONNX等可选扩展。

主要特点

  • 一次前向计算完成选择、打分和是非判断
  • 支持100多种语言
  • 路由器按请求选择检查点
  • 可选扩展:HTTP服务、MCP、LangChain、LlamaIndex、CrewAI
  • laya-ts提供TypeScript版本

适用场景

适合构建分类或路由环节的开发者,例如把客服消息分派给对应部门。长文档需把max_len设为8192,README建议在自己的数据上验证准确率。

上游仓库
NandhaKishorM/laya
GitHub 上的 fork
Guo-astro/laya
上游 Star 数
28k
分类
AI 智能体与大模型工具
编程语言
Python
许可证
Apache-2.0
Fork 时间
2026-09-22
同步状态
已同步上次同步 2026-09-29