Cong LLM la gi?

Cong LLM la mot diem cuoi API duy nhat dung truoc nhieu nha cung cap mo hinh va dinh tuyen yeu cau cua ban toi bat ky mo hinh nao ban yeu cau. Thay vi giu mot khoa, URL co so va dac diem SDK rieng cho moi phong thi nghiem, ban giu mot khoa va mot diem cuoi tuong thich OpenAI, va cong lo phan con lai. Day la cung y tuong nhu mot cong API trong cong viec backend co dien, ap dung cho mo hinh ngon ngu. Day la dieu no mang lai cho ban.

Dinh nghia don gian

Mot cong phoi bay mot giao dien tuong thich OpenAI, thuong la /v1/chat/completions, va anh xa truong model trong yeu cau cua ban toi mot nha cung cap thuc o hau truong. Ban gui cung mot hinh dang yeu cau moi lan; cong chon upstream, gan dung thong tin xac thuc cua nha cung cap, dich moi dac diem va truyen ket qua ve theo dong. Ma cua ban khong doi khi ban doi mo hinh, vi hop dong ban lap trinh chong lai van giu nguyen.

Vi sao no giup

Ba cai loi. Mot tich hop: lap trinh chong lai mot diem cuoi va ban co the dung moi mo hinh cong mang, khong can trinh khach theo nha cung cap. Mot hoa don: muc su dung tren tat ca nha cung cap roi vao mot so du thay vi mot ta hoa don rieng. Va doi de dang: doi mot mo hinh la mot chinh sua mot dong, nen ban co the duoi theo gia hoac chat luong tot nhat moi tac vu ma khong dau lai ung dung. Voi hau het nguoi xay, chi rieng thoi gian tiet kiem o khau tich hop da la toan bo ly do.

No hoat dong the nao ben trong

Khi mot yeu cau toi, cong doc ten trong model, tra cuu nha cung cap upstream phu hop, hoan doi thong tin xac thuc cua nha cung cap do, viet lai cac truong than rieng cua nha cung cap va chuyen tiep cuoc goi. Cac token truyen theo dong tro lai qua cung ket noi, nen tu phia ban no trong nhu mot cuoc goi OpenAI binh thuong. Cac cong tot them viec thu lai khi loi tam thoi, hoach toan su dung va chi phi, va mot danh muc mo hinh cap nhat de cac ban phat hanh moi xuat hien ma ban khong cham vao gi.

Ai thuc su can mot cai

Ban muon mot cong neu ban dung hon mot mo hinh, du dinh doi mo hinh khi gia va chat luong thay doi, hoac xay bat cu thu gi khong nen dau cung vao mot phong thi nghiem. Tac nhan ma, ung dung chat, frontend nhap vai va cong cu noi bo deu huong loi. Neu ban thuc su chi goi mot mo hinh tu mot nha cung cap va khong bao gio mong doi doi, mot khoa truc tiep cua nha cung cap la don gian hon. Tat ca nguoi khac tiet kiem cong suc thuc su voi mot cong.

Tom lai

Cong LLM bien nhieu nha cung cap thanh mot diem cuoi, mot khoa va mot hoa don, nen ban tich hop mot lan va doi mo hinh tu do. UnoRouter la mot cong tuong thich OpenAI dung khuon do: mot khoa cham toi hon 200 mo hinh cho ma va chat nhu nhau, voi tin dung tra theo dung khong het han. Neu ban cham hon mot mo hinh, mot cong la nen tang sach hon.

Tu thu mot cong: tao tai khoan mien phi hoac duyet cac mo hinh.