已发布
产品

UnoRouter 对比 LiteLLM:托管网关还是自托管代理

LiteLLM 是最受欢迎的自托管 LLM 代理。UnoRouter 是内置聊天客户端的托管网关。真正的选择在于你是否想自己运维基础设施。

·阅读时间 1 分钟·作者:UnoRouter团队
对比产品

LiteLLM是开源世界里的标杆代理:一台你自己运行的、采用MIT许可的Python服务器。UnoRouter以托管方式满足同样的需求,并在上面加了一个客户端。选择很简单:运营代理,还是只调用一个端点。

自托管还是托管

LiteLLM是你要部署、运行并扩容的软件。完全掌控,没有中间人,正是平台团队想要的。UnoRouter恰恰相反:没有什么要部署或维持存活。你拿到一个端点和一把钥匙,可用性、路由和故障切换是我们的事。

搭建

LiteLLM意味着一个配置文件、每家供应商的密钥、一台在跑的服务器,以及永远归你的升级维护。用UnoRouter,你注册后把客户端指向https://api.unorouter.com/v1即可。没有配置,没有供应商密钥,没有要照看的服务器。

没有一个可以聊天的LiteLLM

LiteLLM按设计就是无界面的:每个界面都由你自带。UnoRouter加了一个内置的聊天与角色客户端(人设、世界书、预设、SillyTavern卡片导入),同一把钥匙还能接入SillyTavern、Janitor.AI或Chub。一把钥匙既驱动编码代理,又提供一个真正可以聊天的地方。

成本

LiteLLM不抽加价,但你要付给每家供应商,并背上基础设施加DevOps的时间。有团队、量大时这会赢。UnoRouter对200多个模型按用量付费,一笔不过期的余额,没有要付费的服务器。在真正的规模之下,把工时算进去,托管通常更便宜。

怎么选

有平台团队、想要零加价?LiteLLM。想要一把无需部署、能在你的编码代理和聊天客户端里用的钥匙?UnoRouter。

想要一个无需部署的网关吗?创建免费账户浏览模型

相关文章