नकली Claude पकड़ने वाला डिटेक्टर अब एक ओपन-सोर्स लाइब्रेरी है

अप्रैल में हमने नकली Claude रीसेलरों के आँकड़े प्रकाशित किए: 8 प्रदाताओं के 183 चैनल जो Kiro, Codeium या Claude का नाम-पट्ट लगाए किसी और मॉडल की तरह जवाब देते थे। उन्हें पकड़ने वाले प्रोब हमारी सिंक पाइपलाइन के भीतर रहते थे। अब वे एक ऐसे पैकेज में हैं जिसे कोई भी इंस्टॉल कर सकता है।

ai-model-verifier AGPL-3.0 के तहत npm और GitHub पर उपलब्ध है। यह एक बेस URL, एक API कुंजी और एक मॉडल नाम लेता है और तीन फ़ैसलों में से एक लौटाता है, genuine, suspicious या unverified, साथ में वह नियम जो लागू हुआ और प्रोब की कच्ची प्रतिक्रियाएँ।

लाइब्रेरी क्यों

वही जाँचें अब तीन जगह चलती हैं: आपके ब्राउज़र में मॉडल टेस्टर पर, हमारे सर्वरों पर सार्वजनिक रैंकिंग के लिए, और उस सिंक पाइपलाइन के भीतर जो तय करती है कि UnoRouter कौन-सी अपस्ट्रीम लेन दिखाएगा। एक पैटर्न सूची की तीन प्रतियाँ आपस में भटक जाती हैं। एक पैकेज नहीं भटकता।

यह जानबूझकर आइसोमॉर्फ़िक है। केवल वेब-मानक API, कोई node: इम्पोर्ट नहीं, शून्य रनटाइम निर्भरताएँ। HTTP कॉल बाहर से इंजेक्ट होती है, इसलिए ब्राउज़र CORS को बायपास कर सकता है और सर्वर SSRF-सुरक्षित fetch से जा सकता है। प्रदाता और डिटेक्टर अलग-अलग एंट्री पॉइंट हैं, इसलिए Anthropic की जाँच कभी Gemini कॉन्फ़िग को साथ नहीं बाँधती।

अप्रैल के बाद से क्या नया है

पहली पोस्ट के चार व्यवहार प्रोब अब भी मूल हैं: बिल्ली के बच्चे की कहानी, हाइकु, पहचान का सवाल और मॉडल-नाम का सवाल, अब Anthropic, OpenAI और Gemini आकार के एंडपॉइंट के लिए। उनके इर्द-गिर्द ऐसी जाँचें हैं जो मॉडल से यह पूछने पर निर्भर नहीं करतीं कि वह कौन है।

थिंकिंग सिग्नेचर। Claude हर थिंकिंग ब्लॉक के साथ सर्वर-जनित हस्ताक्षर जोड़ता है। कोई और मॉडल परोसने वाला रिले इसे नहीं बना सकता। पहचान प्रोब को सिस्टम प्रॉम्प्ट से सिखाया जा सकता है; हस्ताक्षर को नहीं।
टोकन लेखा। कोई रिले असली Claude आगे भेजते हुए भी हर कॉल पर input_tokens बढ़ा-चढ़ाकर बता सकता है। एक निश्चित पाठ-खंड से अलग दो प्रॉम्प्ट के बिल किए गए टोकन एक ज्ञात दायरे में अलग होने चाहिए, count_tokens बिल से मेल खाना चाहिए, और आउटपुट max_tokens के नीचे रहना चाहिए। Opus 4.7 और 4.8 अलग टोकनाइज़र इस्तेमाल करते हैं, इसलिए यह दायरा टियर जाँच का काम भी करता है।
टियर बेमेल और प्रतिस्थापन। बिल Opus का, परोसा Sonnet, व्यवहार प्रोब से बच निकलता है, क्योंकि Sonnet बिल्ली के बच्चे की बढ़िया कहानी लिख देता है। मॉडल-नाम प्रोब उस जवाब को पकड़ता है जो सस्ते टियर का नाम लेता है, और एनवलप जाँच उस एंडपॉइंट को पकड़ती है जो माँगे गए मॉडल से अलग मॉडल आईडी लौटाता है।
प्रतिक्रियाओं का घालमेल और भाषा रिसाव। हर प्रॉम्प्ट में एक nonce होता है। किसी और का nonce दोहराने वाला जवाब बताता है कि प्रॉक्सी उपयोगकर्ताओं के बीच प्रतिक्रियाएँ मिला रहा है। अंग्रेज़ी प्रॉम्प्ट के जवाब में CJK अक्षर किसी बदले गए चीनी मॉडल की ओर इशारा करते हैं।
एनवलप मेटाडेटा। Anthropic-आकार के जवाब में chatcmpl- आईडी, या Messages प्रतिक्रिया में OpenAI usage कुंजियाँ, बताती हैं कि आपके और मॉडल के बीच एक अनुवाद परत है। इसे फ़ैसले के रूप में नहीं, अवलोकन के रूप में रिपोर्ट किया जाता है: हमारा अपना गेटवे ठीक ऐसी ही परत है।
थ्रूपुट। बड़े मॉडल प्रति टोकन धीमे होते हैं, इसलिए Opus के नाम पर बिल होने वाली लेकिन Sonnet की रफ़्तार से चलने वाली लेन पर नज़र डालनी चाहिए। नमूना लिया जाता है, सीमा कभी नहीं लगाई जाती: उपयोगी तुलना एक ही मॉडल परोसने वाली लेनों के बीच है, और उसे केवल कॉल करने वाला ही जोड़ सकता है।

यह क्या साबित नहीं करता

वैध हस्ताक्षर साबित करता है कि किसी असली Anthropic रास्ते ने जवाब दिया। यह साबित नहीं करता कि कौन-सा टियर: Opus के नाम पर बिकने पर भी Sonnet एकदम सही हस्ताक्षर लौटाता है, इसलिए यहाँ पास होने पर भी टियर जाँचें ज़रूरी हैं। थिंकिंग ब्लॉक को दोबारा भेजकर Anthropic से हस्ताक्षर की पुनः पुष्टि कराना निर्णायक परीक्षण लगता है। हमने इसे बनाया, और यह रिले के पार काम नहीं करता। दो चालू अपस्ट्रीम ने असली ब्लॉक के लिए भी और हस्ताक्षर की जगह 308 बाइट यादृच्छिक base64 वाले उसी ब्लॉक के लिए भी 200 लौटाया। रिले उस टर्न को अपने बैकएंड को नए सिरे से भेजता है, इसलिए कुछ भी कभी सत्यापित नहीं होता। यह विकल्प डिफ़ॉल्ट रूप से बंद है और वैसा ही दस्तावेज़ित है।

हस्ताक्षर और टोकन जाँचें veridrop से पोर्ट की गई हैं, जो भी AGPL है और जिसकी सहनशीलताएँ आधिकारिक API के सापेक्ष अंशांकित की गई थीं। हमने ढीली दिखने वाली सीमाएँ इसलिए रखीं क्योंकि असली Anthropic प्रतिक्रियाएँ उनके करीब थीं।

इस्तेमाल करें

मॉडल टेस्टर पूरा सेट आपके ब्राउज़र में चलाता है, हस्ताक्षर और टोकन जाँचों सहित, और आपके प्रदाता को की गई कॉल के अलावा कुछ भी आपकी मशीन से बाहर नहीं जाता। रैंकिंग पेज वे नतीजे प्रकाशित करता है जिन्हें लोगों ने साझा करना चुना। अपनी पाइपलाइन के लिए:

typescript

import { runVerification } from "ai-model-verifier";

const result = await runVerification({
  provider: "anthropic",
  baseUrl: "https://YOUR-PROVIDER",
  apiKey: process.env.YOUR_KEY,
  model: "claude-opus-4-8",
  mode: "server",
  checkSignature: true,
  checkTokenTruth: true,
});

console.log(result.verdict, result.reasons);
// "suspicious" [ "tier-mismatch: requested claude-opus-4-8, served sonnet" ]

जो चाहिए उसे ही चालू करें। checkSignature और checkTokenTruth में अतिरिक्त अनुरोध लगते हैं, इसलिए माँगे बिना वे बंद रहते हैं। एनवलप मेटाडेटा और थ्रूपुट उन प्रतिक्रियाओं से पढ़े जाते हैं जो रन पहले ही कर चुका है, और इनका कोई खर्च नहीं।

किसी प्रदाता की जाँच करें, उन आँकड़ों के लिए अप्रैल की पोस्ट पढ़ें जिनसे यह सब शुरू हुआ, या अगर किसी असली एंडपॉइंट को गलत फ़ैसला मिले तो GitHub पर इश्यू खोलें।