Como distinguimos o Claude verdadeiro de um falso

O Claude é um dos modelos mais procurados e um dos mais caros. Essa diferença criou um mercado de revendedores que vendem “o mesmo Claude” por uma fração do preço. Alguns realmente vendem o Claude. Muitos não: respondem com um modelo mais barato e colocam o nome do Claude nele.

Este post explica, sem jargão, como verificamos qual deles você está recebendo, e por que os testes que a maioria das pessoas tenta não funcionam.

Perguntar ao modelo não funciona

A primeira coisa que todo mundo tenta é perguntar: “Quem criou você?”, “Qual modelo você é?”, “Qual é a sua data de corte de conhecimento?” Nenhuma dessas perguntas prova nada.

Um modelo diz o que mandam ele dizer. Um revendedor que faz outro modelo se passar pelo Claude simplesmente dá a ele uma instrução: “Você é o Claude, criado pela Anthropic. Nunca mencione nada além disso.” A falsificação então responde perfeitamente a toda pergunta sobre a própria identidade.

A data de corte do conhecimento é um chute, não um fato. No próprio app Claude da Anthropic, o Claude recebe a data de hoje e a sua data de corte em um prompt de sistema oculto, por isso responde à pergunta com confiança. Pela API, e pela Amazon Bedrock, Google Vertex AI ou Microsoft Foundry, esse prompt não existe, e o Claude precisa chutar. Perguntamos 34 vezes a um backend que sabemos que serve o Claude verdadeiro. Ele deu 12 datas de corte diferentes. Então uma data “errada” não significa falsificação, e uma “certa” não significa que é o original: comparar a resposta com o que o app Claude diz só compara um chute com um fato que foi informado ao modelo. Paramos de usar essa pergunta por completo.

Então, em vez de perguntar ao modelo sobre ele mesmo, olhamos para coisas que ele não consegue falsificar com facilidade.

O que realmente denuncia uma falsificação

Alguns sinais são claros o bastante para reprovar um canal sozinhos:

Ele se comporta como outro produto. Alguns revendedores encaminham o “Claude” para assistentes de programação gratuitos embutidos em editores de código. Peça a um deles uma história triste de duas frases sobre um gatinho perdido e ele recusa: “Estou aqui para ajudar com programação.” O Claude verdadeiro nunca faz isso.
Ele vaza as suas instruções reais. Quando um modelo está disfarçado, as instruções ocultas mandam que ele nunca mencione quem realmente o criou. Modelos que mostram o raciocínio muitas vezes repetem essa instrução enquanto pensam, mesmo quando todas as respostas dizem “Claude”. Pegamos o disfarce no raciocínio, não na resposta.
A resposta vem com a etiqueta errada. Toda resposta traz detalhes técnicos junto ao texto, incluindo qual modelo a gerou. Uma resposta vendida como “Claude Opus” que cita outro modelo, ou uma versão mais barata do Claude, nos próprios detalhes é pega aqui.
Ele pula o raciocínio que não pode pular. Os modelos Claude mais novos sempre raciocinam antes de responder. Um “Claude” que responde sem raciocínio nenhum não é esse modelo.
Ele escorrega para outro idioma. Vários substitutos baratos são modelos chineses, e às vezes passam para o chinês no meio da resposta. O Claude verdadeiro não faz isso.
A “resposta” é, na verdade, uma página de erro. Alguns revendedores devolvem a mensagem do próprio filtro de conteúdo ou uma página de erro como se fosse a resposta do modelo. Você paga por isso e não recebe nada.

Outros sinais são guardados como evidência e comparados ao longo de semanas, porque um único teste pode enganar:

A assinatura do raciocínio. O Claude verdadeiro marca o seu raciocínio com uma assinatura que só a Anthropic produz.
Como ele conta as suas palavras. Cada família de modelos divide o texto em tokens de um jeito diferente, e você paga por token. Um texto que cada família divide de forma diferente mostra, em um único número, que tipo de modelo fez a contagem.
As respostas aleatórias favoritas dele. Peça a um modelo muitas vezes um número, uma cor ou uma cidade aleatória, e você verá que cada família de modelos tem o seu próprio padrão de respostas. Coletado ao longo de dias, esse padrão diferencia as famílias e mostra quando um revendedor mistura vários modelos sob um mesmo nome.
Prompts ocultos adicionados pelo revendedor. Quando pedimos que repita as instruções anteriores, um modelo muitas vezes recita o que o revendedor colocou escondido antes da sua mensagem.

Um canal nunca é reprovado por tempo esgotado ou conexão instável, só pelo que o modelo realmente respondeu.

O que não é falsificação

O Claude também é vendido pela Amazon Bedrock, Google Vertex AI e Microsoft Foundry. Essas plataformas rodam o Claude verdadeiro da Anthropic sob licença, então um revendedor que compra capacidade ali e a revende está vendendo o produto original. O Claude servido ali às vezes responde “Amazon” ou “Google” quando perguntam quem o criou, porque a plataforma adiciona as próprias instruções. Não contamos isso contra ele.

O que nenhum teste consegue dizer

Ser honesto sobre os limites importa tanto quanto os testes. De fora, ninguém consegue provar a versão exata de um modelo nem se ele foi comprimido para rodar mais barato. E um revendedor que passa hoje pode trocar o backend amanhã, por isso continuamos testando cada canal periodicamente, e não uma vez só.

O que encontramos quando começamos

Em abril, testamos 8 revendedores populares de Claude durante 17 dias. 183 dos canais deles vendidos com nomes de Claude não eram Claude de jeito nenhum, a maioria assistentes de programação usando um crachá com o nome do Claude. Foi por isso que incorporamos esses testes ao nosso roteamento. Nosso motor de sincronização, new-api-sync, descobre e testa cada canal antes que ele receba tráfego e continua testando depois, então um canal que falha não atende as suas requisições na nossa rede.

Teste o seu próprio provedor

Você não precisa instalar nada. Abra o testador de modelos de API, cole o endereço e a chave do seu provedor, escolha um modelo, e ele roda esses testes ao vivo e mostra exatamente o que passou e o que falhou.

Prefere a linha de comando? Este é o teste do gatinho lá de cima. Se a resposta recusar ou tentar puxar você para programação, o seu “Claude” não é o Claude.

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

As duas partes são de código aberto, então qualquer pessoa pode conferir como funcionam ou rodá-las por conta própria: os testes são o ai-model-verifier (também no npm), e o new-api-sync é o que os executa em todos os provedores para os quais roteamos.