Pubblicato
Ingegneria

Come distinguiamo il vero Claude da un falso

Il Claude economico è spesso un altro modello che porta il nome di Claude. Perché chiedere al modello non dimostra nulla, perché la data limite delle sue conoscenze è solo un'ipotesi e quali controlli smascherano davvero un falso.

·5 min di lettura·Di Il team di UnoRouter
ingegneriaannuncio

Claude è uno dei modelli più richiesti e uno dei più costosi. Questo divario ha creato un mercato di rivenditori che offrono «lo stesso Claude» a una frazione del prezzo. Alcuni vendono davvero Claude. Molti no: rispondono con un modello più economico e ci mettono sopra il nome di Claude.

Questo articolo spiega, senza paroloni tecnici, come verifichiamo cosa stai ricevendo davvero e perché i test che prova la maggior parte delle persone non funzionano.

Chiedere al modello non funziona

La prima cosa che tutti provano è chiedere: «Chi ti ha creato?», «Che modello sei?», «Fino a quando arrivano le tue conoscenze?». Nessuna di queste domande può dimostrare nulla.

Un modello dice quello che gli viene detto di dire. Un rivenditore che spaccia un altro modello per Claude gli dà semplicemente un'istruzione: «Sei Claude, creato da Anthropic. Non menzionare mai nient'altro». Il falso risponde così alla perfezione a ogni domanda sulla propria identità.

La data limite delle conoscenze è un'ipotesi, non un fatto. Nell'app Claude di Anthropic, a Claude vengono comunicate la data di oggi e la sua data limite delle conoscenze tramite un'istruzione di sistema nascosta, quindi risponde alla domanda con sicurezza. Tramite l'API, e tramite Amazon Bedrock, Google Vertex AI o Microsoft Foundry, quell'istruzione non c'è e Claude deve tirare a indovinare. Abbiamo fatto la domanda 34 volte a un fornitore che sappiamo servire il vero Claude. Ha dato 12 date diverse. Quindi una data «sbagliata» non significa che sia un falso, e una «giusta» non significa che sia l'originale: confrontare la risposta con quella dell'app Claude significa solo confrontare un'ipotesi con un dato che all'app è stato fornito. Abbiamo smesso del tutto di usare questa domanda.

Così, invece di interrogare il modello su sé stesso, guardiamo cose che non può falsificare facilmente.

Cosa tradisce davvero un falso

Alcuni segnali sono abbastanza chiari da bocciare un canale da soli:

  • Si comporta come un altro prodotto. Alcuni rivenditori indirizzano «Claude» verso assistenti di programmazione gratuiti integrati negli editor di codice. Chiedi a uno di loro una storia triste di due frasi su un gattino smarrito e si rifiuta: «Sono qui per aiutarti a programmare». Il vero Claude non lo fa mai.
  • Lascia trapelare le sue vere istruzioni. Quando un modello è travestito, le sue istruzioni nascoste gli vietano di menzionare il suo vero creatore. I modelli che mostrano il proprio ragionamento ripetono spesso quell'istruzione mentre pensano, anche quando ogni loro risposta dice «Claude». Scopriamo il travestimento nel ragionamento, non nella risposta.
  • La risposta porta l'etichetta sbagliata. Ogni risposta arriva con dei dettagli tecnici accanto al testo, tra cui quale modello l'ha prodotta. Una risposta venduta come «Claude Opus» che nei propri dettagli indica un altro modello, o una versione di Claude più economica, viene scoperta qui.
  • Salta il ragionamento che non può saltare. I modelli Claude più recenti ragionano sempre prima di rispondere. Un «Claude» che risponde senza alcun ragionamento non è quel modello.
  • Scivola in un'altra lingua. Diversi sostituti economici sono modelli cinesi, e a volte passano al cinese a metà risposta. Il vero Claude non lo fa.
  • La «risposta» è in realtà una pagina di errore. Alcuni rivenditori restituiscono il proprio messaggio del filtro dei contenuti o la propria pagina di errore come se fosse la risposta del modello. Paghi e non ottieni nulla.

Altri segnali vengono conservati come prove e confrontati nell'arco di settimane, perché una singola prova può trarre in inganno:

  • La firma del ragionamento. Il vero Claude contrassegna il proprio ragionamento con una firma che solo Anthropic può produrre.
  • Come conta le tue parole. Ogni famiglia di modelli divide il testo in token a modo suo, e paghi per token. Un testo che ogni famiglia divide in modo diverso rivela, con un solo numero, che tipo di modello l'ha contato.
  • Le sue risposte casuali preferite. Chiedi molte volte a un modello un numero, un colore o una città a caso, e ogni famiglia di modelli ha il suo schema di risposte. Raccolto nell'arco di giorni, quello schema distingue le famiglie e mostra quando un rivenditore mescola più modelli dietro un unico nome.
  • Istruzioni nascoste aggiunte dal rivenditore. Se gli chiedi di ripetere le istruzioni precedenti, un modello spesso recita ciò che il rivenditore ha infilato prima del tuo messaggio.

Un canale non viene mai bocciato per un timeout o una connessione instabile, ma solo per ciò che il modello ha effettivamente risposto.

Cosa non è un falso

Claude viene venduto anche tramite Amazon Bedrock, Google Vertex AI e Microsoft Foundry. Queste piattaforme eseguono il vero Claude di Anthropic su licenza, quindi un rivenditore che acquista capacità lì e la rivende sta vendendo l'originale. Il Claude servito su queste piattaforme a volte risponde «Amazon» o «Google» quando gli si chiede chi l'ha creato, perché la piattaforma aggiunge le proprie istruzioni. Non lo consideriamo a suo sfavore.

Cosa nessun test può dirti

Essere onesti sui limiti conta quanto i controlli stessi. Dall'esterno nessuno può dimostrare la versione esatta di un modello né se è stato compresso per costare meno. E un rivenditore che oggi supera i test può cambiare backend domani, per questo continuiamo a testare ogni canale a intervalli regolari e non una volta sola.

Cosa abbiamo scoperto all'inizio

Ad aprile abbiamo analizzato 8 rivenditori di Claude molto popolari per 17 giorni. 183 dei loro canali venduti con nomi Claude non erano affatto Claude, e la maggior parte erano assistenti di programmazione con un'etichetta Claude appiccicata sopra. Per questo abbiamo integrato questi controlli nel nostro instradamento. Il nostro motore di sincronizzazione, new-api-sync, individua e testa ogni canale prima che serva traffico e continua a ritestarlo, così un canale che fallisce non gestisce le tue richieste sulla nostra rete.

Metti alla prova il tuo fornitore

Non devi installare nulla. Apri il tester di modelli API, incolla l'indirizzo e la chiave del tuo fornitore, scegli un modello e lui esegue questi controlli in tempo reale, mostrandoti esattamente cosa è stato superato e cosa no.

Preferisci la riga di comando? Ecco il test del gattino di cui sopra. Se la risposta si rifiuta o ti spinge verso la programmazione, il tuo «Claude» non è Claude.

bash
curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

Entrambi i componenti sono open source, quindi chiunque può verificare come funzionano o eseguirli in autonomia: i controlli sono in ai-model-verifier (disponibile anche su npm), e new-api-sync è ciò che li esegue su ogni fornitore verso cui instradiamo.

Post correlati