El detector de Claude falsos ahora es una biblioteca de código abierto

En abril publicamos las cifras sobre revendedores falsos de Claude: 183 canales en 8 proveedores que respondían como Kiro, Codeium u otro modelo con la etiqueta de Claude. Las sondas que los cazaron vivían dentro de nuestra canalización de sincronización. Ahora viven en un paquete que cualquiera puede instalar.

ai-model-verifier está en npm y en GitHub bajo AGPL-3.0. Recibe una URL base, una clave de API y un nombre de modelo y devuelve uno de tres veredictos, genuine, suspicious o unverified, junto con la regla que se activó y las respuestas crudas de las sondas.

Por qué una biblioteca

Las mismas comprobaciones corren ahora en tres sitios: en tu navegador en el probador de modelos, en nuestros servidores para el ranking público y dentro de la canalización de sincronización que decide qué vías upstream expone UnoRouter. Tres copias de una lista de patrones acaban divergiendo. Un solo paquete, no.

Es isomorfo a propósito. Solo API estándar de la web, sin importaciones node:, cero dependencias en tiempo de ejecución. La llamada HTTP se inyecta, así que un navegador puede sortear CORS y un servidor puede pasar por un fetch protegido contra SSRF. Proveedores y detectores son puntos de entrada separados, de modo que comprobar Anthropic nunca empaqueta la configuración de Gemini.

Qué hay de nuevo desde abril

Las cuatro sondas de comportamiento del primer artículo siguen siendo el núcleo: la historia del gatito, el haiku, la pregunta de identidad y la pregunta del nombre del modelo, ahora para endpoints con formato Anthropic, OpenAI y Gemini. A su alrededor hay comprobaciones que no dependen de preguntarle al modelo quién es.

Firma de razonamiento. Claude adjunta una firma generada en el servidor a cada bloque de razonamiento. Un relay que sirve otro modelo no puede producirla. Las sondas de identidad se pueden entrenar con un prompt de sistema; una firma, no.
Contabilidad de tokens. Un relay puede reenviar Claude auténtico y aun así inflar input_tokens en cada llamada. Dos prompts que difieren en un bloque fijo de texto deben diferir en tokens facturados dentro de una banda conocida, count_tokens debe coincidir con lo facturado y la salida debe quedar por debajo de max_tokens. Opus 4.7 y 4.8 usan otro tokenizador, así que la banda sirve también como comprobación de nivel.
Nivel incorrecto y sustitución. Facturar Opus y servir Sonnet se cuela entre las sondas de comportamiento, porque Sonnet escribe una historia de gatito perfectamente buena. La sonda del nombre del modelo caza una respuesta que nombra el nivel más barato, y la comprobación del sobre caza un endpoint que devuelve un id de modelo distinto del solicitado.
Mezcla de respuestas y fugas de idioma. Cada prompt lleva un nonce. Una respuesta que devuelve el nonce de otra persona significa que el proxy mezcla respuestas entre usuarios. Caracteres CJK en la respuesta a un prompt en inglés apuntan a un modelo chino sustituido.
Metadatos del sobre. Un id chatcmpl- dentro de una respuesta con formato Anthropic, o claves de uso de OpenAI en una respuesta de Messages, significa que hay una capa de traducción entre tú y el modelo. Se informa como observación, no como veredicto: nuestra propia pasarela es exactamente una capa así.
Rendimiento. Los modelos más grandes son más lentos por token, así que una vía facturada como Opus que corre a velocidad de Sonnet merece un vistazo. Muestreado, nunca con umbrales: la comparación útil es entre vías que sirven el mismo modelo, y solo quien llama puede armarla.

Lo que no demuestra

Una firma válida demuestra que respondió una ruta auténtica de Anthropic. No demuestra qué nivel: Sonnet devuelve una firma perfectamente válida cuando se vende como Opus, así que aprobar ahí sigue necesitando las comprobaciones de nivel. Reenviar el bloque de razonamiento para que Anthropic revalide la firma suena a prueba definitiva. La construimos, y no funciona a través de un relay. Dos upstreams en producción devolvieron 200 para un bloque auténtico y para el mismo bloque con 308 bytes de base64 aleatorio en lugar de la firma. Un relay reemite el turno a su propio backend, así que nada lo valida nunca. La opción está desactivada por defecto y documentada como tal.

Las comprobaciones de firma y de tokens están portadas de veridrop, también AGPL, cuyas tolerancias se calibraron contra la API oficial. Mantuvimos esos límites de apariencia laxa porque las respuestas reales de Anthropic quedaban cerca de ellos.

Úsalo

El probador de modelos ejecuta el conjunto completo en tu navegador, comprobaciones de firma y de tokens incluidas, y nada sale de tu máquina salvo las llamadas a tu proveedor. La página de ranking publica los resultados que la gente decidió compartir. Para tu propia canalización:

typescript

import { runVerification } from "ai-model-verifier";

const result = await runVerification({
  provider: "anthropic",
  baseUrl: "https://YOUR-PROVIDER",
  apiKey: process.env.YOUR_KEY,
  model: "claude-opus-4-8",
  mode: "server",
  checkSignature: true,
  checkTokenTruth: true,
});

console.log(result.verdict, result.reasons);
// "suspicious" [ "tier-mismatch: requested claude-opus-4-8, served sonnet" ]

Activa lo que necesites. checkSignature y checkTokenTruth cuestan peticiones adicionales, así que permanecen desactivadas salvo que se pidan. Los metadatos del sobre y el rendimiento se leen de respuestas que la ejecución ya hizo y no cuestan nada.

Prueba un proveedor, lee el artículo de abril para ver las cifras que empezaron todo esto, o abre un issue en GitHub si un endpoint real recibe un veredicto equivocado.