हम असली Claude और नकली में फ़र्क कैसे करते हैं

Claude सबसे ज़्यादा माँग वाले मॉडलों में से एक है, और सबसे महँगे मॉडलों में से भी। इसी अंतर ने रीसेलरों का एक बाज़ार खड़ा कर दिया है जो “वही Claude” कीमत के छोटे से हिस्से में बेचते हैं। कुछ सच में Claude बेच रहे हैं। बहुत से नहीं: वे किसी सस्ते मॉडल से जवाब देते हैं और उस पर Claude का नाम चिपका देते हैं।

यह पोस्ट बिना तकनीकी भाषा के समझाती है कि हम कैसे जाँचते हैं कि आपको असल में क्या मिल रहा है, और ज़्यादातर लोग जो टेस्ट आज़माते हैं वे काम क्यों नहीं करते।

मॉडल से पूछने से काम नहीं चलता

सबसे पहले हर कोई पूछकर देखता है: “तुम्हें किसने बनाया?”, “तुम कौन सा मॉडल हो?”, “तुम्हारा नॉलेज कटऑफ़ क्या है?” इनमें से कोई भी सवाल कुछ साबित नहीं कर सकता।

मॉडल वही कहता है जो उसे कहने को कहा जाता है। जो रीसेलर किसी दूसरे मॉडल को Claude बताकर बेचता है, वह उसे बस एक निर्देश दे देता है: “तुम Claude हो, जिसे Anthropic ने बनाया है। कभी किसी और चीज़ का ज़िक्र मत करना।” इसके बाद नकली मॉडल अपनी पहचान से जुड़े हर सवाल का बिल्कुल सही जवाब देता है।

नॉलेज कटऑफ़ एक अंदाज़ा है, तथ्य नहीं। Anthropic के अपने Claude ऐप में, Claude को एक छिपे हुए सिस्टम प्रॉम्प्ट में आज की तारीख और उसका नॉलेज कटऑफ़ बताया जाता है, इसलिए वह इस सवाल का जवाब पूरे भरोसे से देता है। API के ज़रिए, और Amazon Bedrock, Google Vertex AI या Microsoft Foundry के ज़रिए, ऐसा कोई प्रॉम्प्ट नहीं होता, और Claude को अंदाज़ा लगाना पड़ता है। हमने एक ऐसे बैकएंड से, जिसके बारे में हम जानते हैं कि वह असली Claude देता है, 34 बार यह सवाल पूछा। उसने 12 अलग-अलग कटऑफ़ तारीखें बताईं। इसलिए “गलत” कटऑफ़ का मतलब नकली नहीं है, और “सही” कटऑफ़ का मतलब असली नहीं: जवाब की तुलना Claude ऐप के जवाब से करना बस एक अंदाज़े की तुलना उस तथ्य से करना है जो ऐप को पहले से बताया गया था। हमने यह सवाल पूछना पूरी तरह बंद कर दिया।

इसलिए मॉडल से उसके बारे में पूछने के बजाय, हम उन चीज़ों को देखते हैं जिन्हें वह आसानी से नकली नहीं बना सकता।

नकली की पोल असल में क्या खोलता है

कुछ संकेत इतने साफ़ होते हैं कि अकेले उन्हीं से कोई चैनल फ़ेल हो जाता है:

वह किसी दूसरे प्रोडक्ट की तरह बर्ताव करता है। कुछ रीसेलर “Claude” को कोड एडिटर में बने मुफ़्त कोडिंग असिस्टेंट की ओर भेज देते हैं। उनमें से किसी से खोए हुए बिल्ली के बच्चे पर दो वाक्यों की एक दुखभरी कहानी माँगिए, और वह मना कर देगा: “मैं यहाँ कोडिंग में मदद के लिए हूँ।” असली Claude ऐसा कभी नहीं करता।
वह अपने असली निर्देश उगल देता है। जब किसी मॉडल को भेस बदलकर पेश किया जाता है, तो उसके छिपे हुए निर्देश उससे कहते हैं कि अपने असली निर्माता का कभी ज़िक्र न करे। जो मॉडल अपनी सोच दिखाते हैं, वे सोचते समय अक्सर वही निर्देश दोहरा देते हैं, भले ही उनका हर जवाब “Claude” ही कहे। हम भेस को सोच में पकड़ते हैं, जवाब में नहीं।
जवाब पर गलत लेबल लगा होता है। हर जवाब के साथ टेक्स्ट के बगल में कुछ तकनीकी जानकारी आती है, जिसमें यह भी लिखा होता है कि उसे किस मॉडल ने बनाया। जो जवाब “Claude Opus” के नाम पर बेचा गया हो, पर उसकी अपनी जानकारी में कोई दूसरा मॉडल या Claude का कोई सस्ता स्तर लिखा हो, वह यहीं पकड़ा जाता है।
वह ऐसी सोच छोड़ देता है जिसे छोड़ा नहीं जा सकता। सबसे नए Claude मॉडल जवाब देने से पहले हमेशा सोचते हैं। जो “Claude” बिना कुछ सोचे सीधे जवाब दे देता है, वह वो मॉडल नहीं है।
वह किसी दूसरी भाषा में फिसल जाता है। कई सस्ते विकल्प चीनी मॉडल हैं, और कभी-कभी वे जवाब के बीच में ही चीनी भाषा में बोलने लगते हैं। असली Claude ऐसा नहीं करता।
“जवाब” असल में एक एरर पेज होता है। कुछ रीसेलर अपना कंटेंट फ़िल्टर संदेश या एरर पेज ऐसे लौटा देते हैं जैसे वह मॉडल का जवाब हो। आप उसके पैसे देते हैं और आपको कुछ नहीं मिलता।

बाकी संकेतों को सबूत के तौर पर रखा जाता है और हफ़्तों तक उनकी तुलना की जाती है, क्योंकि सिर्फ़ एक बार का टेस्ट गुमराह कर सकता है:

सोच का सिग्नेचर। असली Claude अपनी सोच पर एक ऐसा सिग्नेचर लगाता है जिसे सिर्फ़ Anthropic बना सकता है।
वह आपके शब्द कैसे गिनता है। हर मॉडल परिवार टेक्स्ट को अलग तरीके से टोकन में बाँटता है, और आपसे प्रति टोकन पैसे लिए जाते हैं। ऐसा टेक्स्ट जिसे हर परिवार अलग तरह से बाँटता है, एक ही संख्या से दिखा देता है कि उसे किस तरह के मॉडल ने गिना।
उसके पसंदीदा रैंडम जवाब। किसी मॉडल से कई बार कोई रैंडम संख्या, रंग या शहर पूछिए, तो पता चलेगा कि हर मॉडल परिवार के जवाबों का अपना एक पैटर्न होता है। कई दिनों तक इकट्ठा करने पर यह पैटर्न परिवारों में फ़र्क कर देता है और दिखाता है कि कब कोई रीसेलर एक ही नाम के पीछे कई मॉडल मिला रहा है।
रीसेलर के जोड़े हुए छिपे प्रॉम्प्ट। जब मॉडल से उसके पिछले निर्देश दोहराने को कहा जाता है, तो वह अक्सर वह सब सुना देता है जो रीसेलर ने आपके संदेश से पहले चुपके से जोड़ दिया था।

किसी चैनल को टाइमआउट या कमज़ोर कनेक्शन की वजह से कभी फ़ेल नहीं किया जाता, सिर्फ़ इस आधार पर कि मॉडल ने असल में क्या जवाब दिया।

क्या नकली नहीं है

Claude, Amazon Bedrock, Google Vertex AI और Microsoft Foundry के ज़रिए भी बेचा जाता है। ये प्लेटफ़ॉर्म लाइसेंस के तहत Anthropic का असली Claude चलाते हैं, इसलिए जो रीसेलर वहाँ से क्षमता खरीदकर आगे बेचता है, वह असली चीज़ ही बेच रहा है। वहाँ चलने वाला Claude कभी-कभी यह पूछे जाने पर कि उसे किसने बनाया, “Amazon” या “Google” कह देता है, क्योंकि प्लेटफ़ॉर्म अपने खुद के निर्देश जोड़ता है। हम इसे उसके ख़िलाफ़ नहीं गिनते।

कोई भी टेस्ट आपको क्या नहीं बता सकता

सीमाओं के बारे में ईमानदार रहना उतना ही ज़रूरी है जितनी जाँचें। बाहर से कोई भी किसी मॉडल का सटीक वर्ज़न साबित नहीं कर सकता, न ही यह कि उसे सस्ते में चलाने के लिए कंप्रेस किया गया है या नहीं। और जो रीसेलर आज पास होता है, वह कल अपना बैकएंड बदल सकता है, इसीलिए हम हर चैनल को सिर्फ़ एक बार नहीं, बल्कि तय समय पर बार-बार टेस्ट करते रहते हैं।

शुरुआत में हमें क्या मिला

अप्रैल में हमने 8 लोकप्रिय Claude रीसेलरों को 17 दिनों तक जाँचा। Claude के नाम पर बेचे जा रहे उनके 183 चैनल असल में Claude थे ही नहीं, उनमें से ज़्यादातर कोडिंग असिस्टेंट थे जिन पर Claude के नाम का टैग लगा था। इसीलिए हमने ये जाँचें अपनी रूटिंग में ही बना दीं। हमारा सिंक इंजन, new-api-sync, हर चैनल को ट्रैफ़िक मिलने से पहले खोजता और टेस्ट करता है और उसे बार-बार दोबारा टेस्ट करता रहता है, ताकि जो चैनल फ़ेल हो जाए वह हमारे नेटवर्क पर आपकी रिक्वेस्ट न संभाले।

अपने प्रोवाइडर को खुद टेस्ट करें

आपको कुछ भी इंस्टॉल करने की ज़रूरत नहीं है। API मॉडल टेस्टर खोलें, अपने प्रोवाइडर का पता और कुंजी पेस्ट करें, एक मॉडल चुनें, और यह ये जाँचें लाइव चलाकर आपको ठीक-ठीक दिखाएगा कि क्या पास हुआ और क्या फ़ेल।

कमांड लाइन पसंद है? यह ऊपर वाला बिल्ली के बच्चे वाला टेस्ट है। अगर जवाब मना कर दे या आपको कोडिंग की ओर मोड़ दे, तो आपका “Claude” असल में Claude नहीं है।

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

दोनों हिस्से ओपन सोर्स हैं, इसलिए कोई भी देख सकता है कि ये कैसे काम करते हैं या इन्हें खुद चला सकता है: जाँचें ai-model-verifier में हैं (जो npm पर भी है), और new-api-sync वह है जो इन्हें उन सभी प्रोवाइडरों पर चलाता है जिन तक हम रूट करते हैं।