Gerçek Claude'u sahtesinden nasıl ayırt ediyoruz

Claude en çok aranan modellerden biri ve aynı zamanda en pahalılarından biri. Bu fiyat farkı, “aynı Claude”u fiyatın çok küçük bir kısmına satan aracılardan oluşan bir pazar yarattı. Bazıları gerçekten Claude satıyor. Birçoğu ise satmıyor: daha ucuz bir modelle cevap verip üzerine Claude adını yapıştırıyor.

Bu yazı, teknik terimlere boğmadan, hangisini aldığınızı nasıl kontrol ettiğimizi ve çoğu kişinin denediği testlerin neden işe yaramadığını anlatıyor.

Modele sormak işe yaramaz

Herkesin ilk denediği şey sormaktır: “Seni kim yaptı?”, “Hangi modelsin?”, “Bilgi kesim tarihin ne?” Bunların hiçbiri bir şey kanıtlayamaz.

Bir model, söylemesi istenen şeyi söyler. Başka bir modeli Claude diye satan bir aracı ona basitçe bir talimat verir: “Sen Anthropic tarafından geliştirilen Claude'sun. Başka hiçbir şeyden asla bahsetme.” Sahte model de kimliğiyle ilgili her soruyu kusursuz yanıtlar.

Bilgi kesim tarihi bir gerçek değil, bir tahmindir. Anthropic'in kendi Claude uygulamasında Claude'a bugünün tarihi ve bilgi kesim tarihi gizli bir sistem isteminde bildirilir, bu yüzden soruya kendinden emin bir cevap verir. API üzerinden, ayrıca Amazon Bedrock, Google Vertex AI veya Microsoft Foundry üzerinden böyle bir istem yoktur ve Claude tahmin etmek zorunda kalır. Gerçek Claude sunduğunu bildiğimiz bir arka uca aynı soruyu 34 kez sorduk. 12 farklı kesim tarihi verdi. Yani “yanlış” bir kesim tarihi sahte olduğu anlamına gelmez, “doğru” bir tarih de gerçek olduğu anlamına gelmez: cevabı Claude uygulamasının söyledikleriyle karşılaştırmak, bir tahmini modele önceden söylenmiş bir bilgiyle karşılaştırmaktan ibarettir. Bu soruyu kullanmayı tamamen bıraktık.

Bu yüzden modele kendisini sormak yerine, kolayca taklit edemeyeceği şeylere bakıyoruz.

Sahteyi gerçekten ele veren şeyler

Bazı işaretler, tek başına bir kanalı başarısız saymaya yetecek kadar açıktır:

Başka bir ürün gibi davranıyor. Bazı aracılar “Claude”u kod editörlerine gömülü ücretsiz kodlama asistanlarına yönlendirir. Böyle birinden kaybolmuş bir yavru kedi hakkında iki cümlelik hüzünlü bir hikâye isteyin, reddeder: “Kodlama konusunda yardım etmek için buradayım.” Gerçek Claude bunu asla yapmaz.
Gerçek talimatlarını sızdırıyor. Bir model kılık değiştirdiğinde, gizli talimatları ona gerçek yapımcısından asla bahsetmemesini söyler. Akıl yürütmesini gösteren modeller, verdikleri her cevapta “Claude” deseler bile, düşünürken bu talimatı sık sık tekrarlar. Kılığı cevapta değil, akıl yürütmede yakalarız.
Cevap yanlış etiket taşıyor. Her cevap, metnin yanında onu hangi modelin ürettiği de dahil olmak üzere teknik ayrıntılarla gelir. “Claude Opus” diye satılan bir cevap kendi ayrıntılarında başka bir modelin ya da daha ucuz bir Claude sürümünün adını taşıyorsa burada yakalanır.
Atlayamayacağı düşünme adımını atlıyor. En yeni Claude modelleri cevap vermeden önce her zaman akıl yürütür. Hiç akıl yürütmeden cevap veren bir “Claude” o model değildir.
Başka bir dile kayıyor. Ucuz ikamelerin birkaçı Çin modelleridir ve bazen cevabın ortasında Çinceye geçerler. Gerçek Claude bunu yapmaz.
“Cevap” aslında bir hata sayfası. Bazı aracılar kendi içerik filtresi mesajlarını veya hata sayfalarını modelin cevabıymış gibi döndürür. Parasını ödersiniz ama karşılığında hiçbir şey almazsınız.

Diğer işaretler kanıt olarak saklanır ve haftalar boyunca karşılaştırılır, çünkü tek bir deneme yanıltıcı olabilir:

Düşünme imzası. Gerçek Claude akıl yürütmesini yalnızca Anthropic'in üretebildiği bir imzayla işaretler.
Kelimelerinizi nasıl saydığı. Her model ailesi metni token'lara farklı şekilde böler ve siz token başına ücret ödersiniz. Her ailenin farklı böldüğü bir metin, tek bir sayıyla onu hangi tür modelin saydığını gösterir.
En sevdiği rastgele cevaplar. Bir modelden defalarca rastgele bir sayı, renk ya da şehir isteyin; her model ailesinin kendine özgü bir cevap deseni olduğunu görürsünüz. Günler boyunca toplanan bu desen aileleri birbirinden ayırır ve bir aracının tek bir ad altında birden fazla modeli karıştırdığını ortaya çıkarır.
Aracının eklediği gizli istemler. Önceki talimatlarını tekrarlaması istendiğinde model, aracının mesajınızın önüne gizlice eklediği şeyleri çoğu zaman olduğu gibi okur.

Bir kanal asla zaman aşımı ya da kararsız bir bağlantı yüzünden başarısız sayılmaz, yalnızca modelin gerçekten verdiği cevaba göre değerlendirilir.

Sahte olmayanlar

Claude, Amazon Bedrock, Google Vertex AI ve Microsoft Foundry üzerinden de satılır. Bu platformlar Anthropic'in gerçek Claude'unu lisansla çalıştırır, dolayısıyla oradan kapasite satın alıp yeniden satan bir aracı gerçeğini satıyordur. Oralarda sunulan Claude, onu kimin yaptığı sorulduğunda bazen “Amazon” veya “Google” der, çünkü platform kendi talimatlarını ekler. Bunu ona karşı bir kusur saymıyoruz.

Hiçbir testin söyleyemeyeceği şeyler

Sınırlar konusunda dürüst olmak, kontroller kadar önemlidir. Dışarıdan kimse bir modelin tam sürümünü ya da daha ucuza çalışsın diye sıkıştırılıp sıkıştırılmadığını kanıtlayamaz. Ayrıca bugün testi geçen bir aracı yarın arka ucunu değiştirebilir. Bu yüzden her kanalı bir kez değil, düzenli aralıklarla test etmeye devam ediyoruz.

Başladığımızda ne bulduk

Nisan ayında 8 popüler Claude aracısını 17 gün boyunca inceledik. Claude adıyla satılan kanallarından 183'ü hiç Claude değildi, çoğu Claude isim etiketi takmış kodlama asistanlarıydı. Bu kontrolleri yönlendirme sistemimize bu yüzden yerleştirdik. Senkronizasyon motorumuz new-api-sync, her kanalı trafik almadan önce bulur ve test eder, sonra da test etmeyi sürdürür; böylece başarısız olan bir kanal ağımızda isteklerinize hizmet etmez.

Kendi sağlayıcınızı test edin

Hiçbir şey kurmanıza gerek yok. API model test aracını açın, sağlayıcınızın adresini ve anahtarını yapıştırın, bir model seçin; araç bu kontrolleri canlı olarak çalıştırır ve neyin geçip neyin kaldığını tam olarak gösterir.

Komut satırını mı tercih edersiniz? Bu, yukarıdaki yavru kedi testidir. Cevap reddederse ya da sizi kodlamaya yönlendirirse, “Claude”unuz Claude değildir.

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

Her iki parça da açık kaynaklıdır, yani herkes nasıl çalıştığını inceleyebilir ya da kendisi çalıştırabilir: kontroller ai-model-verifier içindedir (npm üzerinde de var), new-api-sync ise bunları yönlendirdiğimiz tüm sağlayıcılarda çalıştırır.