איך אנחנו מבדילים בין Claude אמיתי למזויף

Claude הוא אחד המודלים המבוקשים ביותר ואחד היקרים ביותר. הפער הזה יצר שוק של משווקים שמוכרים "את אותו Claude" בשבריר מהמחיר. חלקם באמת מוכרים Claude. רבים לא: הם עונים עם מודל זול יותר ומדביקים עליו את השם Claude.

הפוסט הזה מסביר, בלי ז'רגון, איך אנחנו בודקים מה אתם באמת מקבלים, ולמה הבדיקות שרוב האנשים מנסים לא עובדות.

לשאול את המודל לא עובד

הדבר הראשון שכולם מנסים הוא לשאול: "מי יצר אותך?", "איזה מודל אתה?", "מה תאריך סוף הידע שלך?" אף אחת מהשאלות האלה לא יכולה להוכיח שום דבר.

מודל אומר את מה שאומרים לו להגיד. משווק שמציג מודל אחר בתור Claude פשוט נותן לו הוראה: "אתה Claude, שנוצר על ידי Anthropic. לעולם אל תזכיר שום דבר אחר." מאותו רגע המזויף עונה בצורה מושלמת על כל שאלה על הזהות שלו.

תאריך סוף הידע הוא ניחוש, לא עובדה. באפליקציית Claude של Anthropic עצמה, Claude מקבל את התאריך של היום ואת תאריך סוף הידע שלו בהנחיית מערכת נסתרת, ולכן הוא עונה על השאלה בביטחון. דרך ה-API, ודרך Amazon Bedrock, Google Vertex AI או Microsoft Foundry, אין הנחיה כזאת, ו-Claude נאלץ לנחש. שאלנו 34 פעמים שרת שאנחנו יודעים שמגיש Claude אמיתי. הוא נתן 12 תאריכים שונים. אז תאריך "שגוי" לא אומר שמדובר בזיוף, ותאריך "נכון" לא אומר שזה הדבר האמיתי: השוואה של התשובה למה שאפליקציית Claude אומרת רק משווה ניחוש לעובדה שנמסרה לאפליקציה מראש. הפסקנו להשתמש בשאלה הזאת לגמרי.

אז במקום לשאול את המודל על עצמו, אנחנו בודקים דברים שקשה לו לזייף.

מה באמת מסגיר זיוף

חלק מהסימנים ברורים מספיק כדי להכשיל ערוץ בפני עצמם:

הוא מתנהג כמו מוצר אחר. יש משווקים שמנתבים את "Claude" לעוזרי תכנות חינמיים שמובנים בעורכי קוד. בקשו מאחד כזה סיפור עצוב בשני משפטים על גור חתולים שהלך לאיבוד, והוא יסרב: "אני כאן כדי לעזור בתכנות." Claude אמיתי אף פעם לא עושה את זה.
הוא מדליף את ההוראות האמיתיות שלו. כשמודל מוסווה, ההוראות הנסתרות שלו אומרות לו לעולם לא להזכיר את היוצר האמיתי שלו. מודלים שמציגים את תהליך החשיבה שלהם חוזרים לעיתים קרובות על ההוראה הזאת בזמן שהם חושבים, גם כשכל תשובה שלהם אומרת "Claude". אנחנו תופסים את ההסוואה בחשיבה, לא בתשובה.
התשובה נושאת את התווית הלא נכונה. כל תשובה מגיעה עם פרטים טכניים לצד הטקסט, כולל איזה מודל הפיק אותה. תשובה שנמכרת בתור "Claude Opus" אבל בפרטים שלה מופיע מודל אחר, או דרגה זולה יותר של Claude, נתפסת כאן.
הוא מדלג על חשיבה שאי אפשר לדלג עליה. מודלי Claude החדשים ביותר תמיד חושבים לפני שהם עונים. "Claude" שעונה בלי שום חשיבה הוא לא המודל הזה.
הוא גולש לשפה אחרת. כמה מהתחליפים הזולים הם מודלים סיניים, ולפעמים הם עוברים לסינית באמצע התשובה. Claude אמיתי לא עושה את זה.
ה"תשובה" היא בעצם דף שגיאה. יש משווקים שמחזירים הודעת סינון תוכן משלהם או דף שגיאה כאילו זו התשובה של המודל. אתם משלמים על זה ולא מקבלים כלום.

סימנים אחרים נשמרים כראיות ומושווים לאורך שבועות, כי ריצה אחת לבדה עלולה להטעות:

חתימת החשיבה. Claude אמיתי מסמן את החשיבה שלו בחתימה שרק Anthropic יכולה להפיק.
איך הוא סופר את המילים שלכם. כל משפחת מודלים מפרקת טקסט לטוקנים בצורה אחרת, ואתם משלמים לפי טוקן. טקסט שכל משפחה מפרקת אחרת מראה, במספר אחד, איזה סוג מודל ספר אותו.
התשובות האקראיות האהובות עליו. בקשו ממודל הרבה פעמים מספר אקראי, צבע או עיר, ותגלו שלכל משפחת מודלים יש דפוס תשובות משלה. כשאוספים אותו לאורך ימים, הדפוס הזה מבדיל בין משפחות ומראה מתי משווק מערבב כמה מודלים מאחורי שם אחד.
הנחיות נסתרות שהמשווק מוסיף. כשמבקשים ממודל לחזור על ההוראות הקודמות שלו, הוא מדקלם לעיתים קרובות את מה שהמשווק השחיל לפני ההודעה שלכם.

ערוץ אף פעם לא נכשל בגלל חריגה מזמן ההמתנה או חיבור לא יציב, רק בגלל מה שהמודל באמת ענה.

מה לא נחשב זיוף

Claude נמכר גם דרך Amazon Bedrock, Google Vertex AI ו-Microsoft Foundry. הפלטפורמות האלה מריצות את Claude האמיתי של Anthropic ברישיון, כך שמשווק שקונה שם קיבולת ומוכר אותה הלאה מוכר את הדבר האמיתי. Claude שמוגש שם עונה לפעמים "Amazon" או "Google" כששואלים אותו מי יצר אותו, כי הפלטפורמה מוסיפה הוראות משלה. אנחנו לא זוקפים את זה לחובתו.

מה ששום בדיקה לא יכולה לגלות

לדבר בכנות על המגבלות חשוב לא פחות מהבדיקות עצמן. מבחוץ, אף אחד לא יכול להוכיח מה הגרסה המדויקת של מודל או אם הוא נדחס כדי לרוץ בזול. ומשווק שעובר היום יכול להחליף את השרת שלו מחר, ולכן אנחנו ממשיכים לבדוק כל ערוץ לפי לוח זמנים קבוע ולא רק פעם אחת.

מה גילינו כשהתחלנו

באפריל בדקנו 8 משווקי Claude פופולריים במשך 17 ימים. 183 מהערוצים שלהם שנמכרו תחת שמות של Claude לא היו Claude בכלל, ורובם היו עוזרי תכנות עם תג שם של Claude. בגלל זה שילבנו את הבדיקות האלה במערכת הניתוב שלנו. מנוע הסנכרון שלנו, new-api-sync, מאתר ובודק כל ערוץ לפני שהוא מקבל תעבורה וממשיך לבדוק אותו שוב ושוב, כך שערוץ שנכשל לא מטפל בבקשות שלכם ברשת שלנו.

בדקו את הספק שלכם

לא צריך להתקין כלום. פתחו את בודק מודלי ה-API, הדביקו את הכתובת והמפתח של הספק שלכם, בחרו מודל, והכלי יריץ את הבדיקות האלה בזמן אמת ויראה לכם בדיוק מה עבר ומה נכשל.

מעדיפים שורת פקודה? זו בדיקת גור החתולים מלמעלה. אם התשובה מסרבת או מכוונת אתכם לתכנות, ה"Claude" שלכם הוא לא Claude.

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

שני החלקים הם קוד פתוח, כך שכל אחד יכול לבדוק איך הם עובדים או להריץ אותם בעצמו: הבדיקות הן ai-model-verifier (זמין גם ב-npm), ו-new-api-sync הוא מה שמריץ אותן על כל ספק שאנחנו מנתבים אליו.