UnoRouter 對比 LiteLLM:託管閘道還是自架代理
LiteLLM 是最受歡迎的自架 LLM 代理。UnoRouter 是內建聊天用戶端的託管閘道。真正的選擇在於你是否想自己維運基礎設施。
LiteLLM是開源世界裡的標竿代理:一台你自己執行的、採用MIT授權的Python伺服器。UnoRouter以託管方式滿足同樣的需求,並在上面加了一個用戶端。選擇很簡單:營運代理,還是只呼叫一個端點。
自架還是託管
LiteLLM是你要部署、執行並擴容的軟體。完全掌控,沒有中間人,正是平台團隊想要的。UnoRouter恰恰相反:沒有什麼要部署或維持存活。你拿到一個端點和一把鑰匙,可用性、路由和故障切換是我們的事。
搭建
LiteLLM意味著一個設定檔、每家供應商的金鑰、一台在跑的伺服器,以及永遠歸你的升級維護。用UnoRouter,你註冊後把用戶端指向https://api.unorouter.com/v1即可。沒有設定,沒有供應商金鑰,沒有要照看的伺服器。
沒有一個可以聊天的LiteLLM
LiteLLM按設計就是無介面的:每個介面都由你自帶。UnoRouter加了一個內建的聊天與角色用戶端(人設、世界書、預設、SillyTavern卡片匯入),同一把鑰匙還能接入SillyTavern、Janitor.AI或Chub。一把鑰匙既驅動編碼代理,又提供一個真正可以聊天的地方。
成本
LiteLLM不抽加價,但你要付給每家供應商,並背上基礎設施加DevOps的時間。有團隊、量大時這會贏。UnoRouter對200多個模型按用量付費,一筆不過期的餘額,沒有要付費的伺服器。在真正的規模之下,把工時算進去,託管通常更便宜。
怎麼選
有平台團隊、想要零加價?LiteLLM。想要一把無需部署、能在你的編碼代理和聊天用戶端裡用的鑰匙?UnoRouter。
Nevika 接受任意 OpenAI 相容端點作為自訂代理。這裡給出一分鐘的設定流程、該挑哪個模型,以及大家最常撞到的兩個錯誤。
SpicyChat 是一個零設定的角色扮演網站,它的記憶和上下文被關在付費級距後面。UnoRouter 保留了輕鬆的起步,但加上 200+ 個由你挑的模型、深度的 lorebooks,還有一把也能跑編碼代理的金鑰。
Agnai 是一個開源角色扮演前端,它的亮點是真正的多人:好幾個真人和好幾個機器人共處一場聊天。UnoRouter 有託管的單人角色扮演深度,這裡金鑰就是帳號,而且還能跑編碼代理。