UnoRouter so với LiteLLM: cổng được lưu trữ hay proxy tự lưu trữ

LiteLLM là proxy tham chiếu của thế giới mã nguồn mở: một máy chủ Python giấy phép MIT mà bạn tự chạy. UnoRouter đáp ứng cùng nhu cầu, được lưu trữ, với một client bên trên. Lựa chọn đơn giản: vận hành proxy hay chỉ gọi một endpoint.

Tự lưu trữ hay được lưu trữ

LiteLLM là phần mềm bạn triển khai, chạy và mở rộng. Toàn quyền kiểm soát, không trung gian, đúng thứ một đội nền tảng muốn. UnoRouter thì ngược lại: không có gì để triển khai hay giữ cho sống. Bạn nhận một endpoint và một khóa, còn tính khả dụng, định tuyến và chuyển đổi dự phòng là việc của chúng tôi.

Thiết lập

LiteLLM nghĩa là một tệp cấu hình, khóa của từng nhà cung cấp, một máy chủ đang chạy, và các bản nâng cấp mãi là của bạn. Với UnoRouter bạn đăng ký và trỏ client tới https://api.unorouter.com/v1. Không cấu hình, không khóa nhà cung cấp, không máy chủ phải trông nom.

Không có LiteLLM nào để trò chuyện

LiteLLM headless theo thiết kế: mọi giao diện bạn tự mang tới. UnoRouter thêm một client chat và nhân vật tích hợp (persona, lorebook, preset, nhập thẻ SillyTavern), và cùng khóa đó khớp vào SillyTavern, Janitor.AI hoặc Chub. Một khóa vận hành một agent lập trình và một nơi thực thụ để trò chuyện.

Chi phí

LiteLLM không lấy phụ phí, nhưng bạn trả cho từng nhà cung cấp và gánh hạ tầng cộng thời gian DevOps. Điều đó thắng ở khối lượng lớn khi có đội. UnoRouter trả theo mức dùng trên hơn 200 mô hình, một số dư không hết hạn, không máy chủ để trả tiền. Dưới quy mô nghiêm túc, được lưu trữ thường rẻ hơn khi tính cả số giờ.

Chọn thế nào

Có một đội nền tảng và muốn phụ phí bằng không? LiteLLM. Muốn một khóa không phải triển khai gì mà chạy trong agent lập trình và một client chat? UnoRouter.

Muốn một cổng không cần triển khai gì? Tạo tài khoản miễn phí hoặc duyệt các mô hình.