Sahte Claude dedektörü artık açık kaynak bir kütüphane

Nisan ayında sahte Claude satıcılarına ilişkin rakamları yayımladık: 8 sağlayıcıda, Kiro, Codeium ya da Claude etiketi takmış başka bir model olarak yanıt veren 183 kanal. Onları yakalayan sondalar senkronizasyon hattımızın içinde yaşıyordu. Artık herkesin kurabileceği bir pakette yaşıyorlar.

ai-model-verifier, AGPL-3.0 lisansıyla npm ve GitHub üzerinde. Bir temel URL, bir API anahtarı ve bir model adı alır; genuine, suspicious veya unverified olmak üzere üç karardan birini, tetiklenen kural ve sondaların ham yanıtlarıyla birlikte döndürür.

Neden bir kütüphane

Aynı kontroller artık üç yerde çalışıyor: tarayıcınızda model test aracında, sunucularımızda herkese açık sıralamalar için ve UnoRouter uygulamasının hangi upstream hatlarını sunacağına karar veren senkronizasyon hattının içinde. Bir desen listesinin üç kopyası zamanla birbirinden uzaklaşır. Tek bir paket uzaklaşmaz.

Bilerek izomorfik. Yalnızca standart web API'leri, node: içe aktarması yok, çalışma zamanında sıfır bağımlılık. HTTP çağrısı dışarıdan enjekte edilir; böylece tarayıcı CORS'u aşabilir, sunucu ise SSRF'ye karşı güvenli bir fetch üzerinden gidebilir. Sağlayıcılar ve dedektörler ayrı giriş noktalarıdır; Anthropic'i kontrol etmek asla Gemini yapılandırmasını paketlemez.

Nisan'dan bu yana yenilikler

İlk yazıdaki dört davranış sondası hâlâ çekirdek: kedi yavrusu hikâyesi, haiku, kimlik sorusu ve model adı sorusu; artık Anthropic, OpenAI ve Gemini biçimindeki uç noktalar için. Etraflarında, modele kim olduğunu sormaya bağlı olmayan kontroller var.

Düşünme imzası. Claude her düşünme bloğuna sunucu tarafında üretilen bir imza ekler. Başka bir model sunan bir röle bunu üretemez. Kimlik sondaları bir sistem istemiyle yönlendirilebilir; bir imza yönlendirilemez.
Token muhasebesi. Bir röle gerçek Claude'u iletip yine de her çağrıda input_tokens değerini şişirebilir. Sabit bir metin parçasıyla ayrışan iki istem, faturalanan token sayısında bilinen bir aralık kadar ayrışmalı; count_tokens faturalananla uyuşmalı ve çıktı max_tokens altında kalmalı. Opus 4.7 ve 4.8 farklı bir tokenizer kullanır, dolayısıyla bu aralık aynı zamanda bir kademe kontrolüdür.
Kademe uyuşmazlığı ve ikame. Opus faturalanıp Sonnet sunulması davranış sondalarından sıyrılır, çünkü Sonnet gayet iyi bir kedi yavrusu hikâyesi yazar. Model adı sondası daha ucuz kademeyi söyleyen bir yanıtı yakalar; zarf kontrolü ise istenenden farklı bir model kimliği döndüren uç noktayı yakalar.
Yanıt karışması ve dil sızıntıları. Her istem bir nonce taşır. Başkasının nonce değerini geri veren bir yanıt, vekilin kullanıcılar arasında yanıtları karıştırdığı anlamına gelir. İngilizce bir isteme verilen yanıttaki CJK karakterler, yerine konmuş bir Çin modeline işaret eder.
Zarf üst verisi. Anthropic biçimli bir yanıtın içindeki chatcmpl- kimliği ya da bir Messages yanıtındaki OpenAI kullanım anahtarları, sizinle model arasında bir çeviri katmanı olduğu anlamına gelir. Karar olarak değil gözlem olarak raporlanır: bizim kendi ağ geçidimiz tam olarak böyle bir katmandır.
Üretim hızı. Daha büyük modeller token başına daha yavaştır; bu yüzden Opus olarak faturalanan ama Sonnet hızında çalışan bir hat incelemeye değer. Örneklenir, asla eşiklenmez: işe yarayan karşılaştırma aynı modeli sunan hatlar arasındadır ve bunu yalnızca çağıran taraf bir araya getirebilir.

Neyi kanıtlamaz

Geçerli bir imza, gerçek bir Anthropic yolunun yanıt verdiğini kanıtlar. Hangi kademenin yanıt verdiğini kanıtlamaz: Sonnet, Opus olarak satıldığında kusursuz bir imza döndürür; bu yüzden buradaki bir geçiş yine kademe kontrollerine muhtaçtır. Düşünme bloğunu geri göndererek Anthropic'in imzayı yeniden doğrulamasını sağlamak kesin test gibi görünür. Bunu inşa ettik ve bir röle üzerinden çalışmıyor. İki canlı upstream, gerçek bir blok için de imza yerine 308 bayt rastgele base64 konmuş aynı blok için de 200 döndürdü. Röle turu kendi arka ucuna yeniden gönderir, dolayısıyla hiçbir şey hiçbir zaman doğrulanmaz. Seçenek varsayılan olarak kapalıdır ve böyle belgelenmiştir.

İmza ve token kontrolleri, yine AGPL lisanslı veridrop projesinden taşındı; toleransları resmî API'ye göre kalibre edilmişti. Gevşek görünen sınırları koruduk, çünkü gerçek Anthropic yanıtları onlara yakın düşüyordu.

Kullanın

Model test aracı tüm seti, imza ve token kontrolleri dâhil, tarayıcınızda çalıştırır; sağlayıcınıza yapılan çağrılar dışında hiçbir şey makinenizden çıkmaz. Sıralama sayfası, insanların paylaşmayı seçtiği sonuçları yayımlar. Kendi hattınız için:

typescript

import { runVerification } from "ai-model-verifier";

const result = await runVerification({
  provider: "anthropic",
  baseUrl: "https://YOUR-PROVIDER",
  apiKey: process.env.YOUR_KEY,
  model: "claude-opus-4-8",
  mode: "server",
  checkSignature: true,
  checkTokenTruth: true,
});

console.log(result.verdict, result.reasons);
// "suspicious" [ "tier-mismatch: requested claude-opus-4-8, served sonnet" ]

İhtiyacınız olanı açın. checkSignature ve checkTokenTruth ek istekler gerektirir, bu yüzden istenmedikçe kapalı kalır. Zarf üst verisi ve üretim hızı, çalıştırmanın zaten yaptığı yanıtlardan okunur ve hiçbir maliyeti yoktur.

Bir sağlayıcıyı test edin, her şeyi başlatan rakamlar için Nisan yazısını okuyun ya da gerçek bir uç nokta yanlış karar alıyorsa GitHub üzerinde bir issue açın.