Cos'è un gateway LLM?

Un gateway LLM è un'unica API davanti a molti fornitori di modelli: una chiave, una fattura, un endpoint, con routing e failover gestiti per te. UnoRouter è un gateway open source che serve 200+ modelli tramite un'API compatibile OpenAI, più gli endpoint nativi di Anthropic e Gemini, con un piano gratuito sulla maggior parte dei modelli e prezzi a consumo sul resto.

Un gateway LLM è un singolo endpoint di API che sta davanti a molti fornitori di modelli e instrada la tua richiesta al modello che chiedi. Invece di tenere una chiave, una URL di base e la stranezza di ogni SDK per laboratorio, tieni una chiave e un endpoint compatibile con OpenAI, e il gateway fa il resto. È la stessa idea di un gateway di API nel backend classico, applicata ai modelli di linguaggio. Ecco cosa ti porta.

La definizione semplice

Un gateway espone un'interfaccia compatibile con OpenAI, di solito /v1/chat/completions, e mappa il campo model della tua richiesta a un fornitore reale dietro le quinte. Invii la stessa forma di richiesta ogni volta; il gateway sceglie l'upstream, allega le credenziali giuste del fornitore, traduce eventuali stranezze e restituisce la risposta in streaming. Il tuo codice non cambia quando cambi modello, perché il contratto contro cui programmi resta costante.

Perché aiuta

Tre vantaggi. Un'integrazione: programma contro un endpoint e puoi usare ogni modello che il gateway porta, senza client per fornitore. Una fattura: l'uso di tutti i fornitori finisce su un solo saldo invece di una dozzina di fatture separate. E cambio facile: cambiare modello è una modifica di una riga, così puoi inseguire il miglior prezzo o qualità per compito senza ricablare la tua app. Per la maggior parte degli sviluppatori il tempo risparmiato sulla sola integrazione è l'intera ragione.

Come funziona sotto il cofano

Quando arriva una richiesta, il gateway legge il nome in model, cerca il fornitore upstream corrispondente, sostituisce le credenziali di quel fornitore, riscrive i campi del corpo specifici del fornitore e inoltra la chiamata. I token in streaming tornano per la stessa connessione, quindi dal tuo lato sembra una normale chiamata OpenAI. I buoni gateway aggiungono ritentativi sugli errori transitori, contabilità di uso e costo, e un catalogo di modelli aggiornato così le nuove uscite appaiono senza che tu tocchi nulla.

Chi ne ha davvero bisogno

Vuoi un gateway se usi più di un modello, prevedi di cambiare modello al variare di prezzi e qualità, o costruisci qualcosa che non dovrebbe essere cablato a un singolo laboratorio. Agenti di coding, app di chat, front-end di chat con personaggi e strumenti interni ne traggono tutti vantaggio. Se davvero chiami un solo modello da un solo provider e non prevedi mai di cambiare, una chiave diretta del provider è più semplice. Tutti gli altri risparmiano fatica reale con un gateway.

In breve

Un gateway LLM trasforma molti fornitori in un endpoint, una chiave e una fattura, così integri una volta e cambi modelli liberamente. UnoRouter è un gateway compatibile con OpenAI esattamente di questo stampo: una chiave raggiunge oltre 200 modelli per codice e chat allo stesso modo, con crediti a consumo che non scadono. Se tocchi più di un modello, un gateway è la base più pulita.

Prova tu stesso un gateway: crea un account gratuito o esplora i modelli.