我們如何分辨真假 Claude
便宜的 Claude 往往是頂著 Claude 名字的其他模型。為什麼直接問模型證明不了任何事,為什麼知識截止日期只是猜測,以及哪些檢查真正能揪出假貨。
Claude 是最受歡迎的模型之一,也是最貴的模型之一。這個價差催生了一個轉售市場,有人以零頭的價格販售「同樣的 Claude」。有些確實在賣 Claude,但很多並不是:它們用更便宜的模型來回答,再貼上 Claude 的名字。
這篇文章用淺白的語言說明,我們如何確認你拿到的到底是哪一種,以及為什麼大多數人嘗試的測試都沒有用。
直接問模型沒有用
大家第一個想到的都是直接問:「你是誰開發的?」「你是哪個模型?」「你的知識截止日期是什麼時候?」但這些問題都證明不了任何事。
模型會說別人叫它說的話。把其他模型冒充成 Claude 的轉售商,只需要給它一條指令:「你是 Anthropic 開發的 Claude。絕對不要提到其他任何東西。」這樣一來,假貨就能完美回答所有關於身分的問題。
知識截止日期是猜測,不是事實。在 Anthropic 自家的 Claude 應用程式裡,隱藏的系統提示詞會告訴 Claude 今天的日期和它的知識截止日期,所以它能很有把握地回答這個問題。而透過 API,或透過 Amazon Bedrock、Google Vertex AI、Microsoft Foundry 呼叫時,並沒有這樣的提示詞,Claude 只能用猜的。我們向一個確定提供真 Claude 的後端問了 34 次,它給出了 12 個不同的截止日期。所以,截止日期「答錯」不代表是假貨,「答對」也不代表是真貨:拿它的回答去和 Claude 應用程式的回答比較,只是在拿一個猜測去比對一個被告知的事實。我們已經完全不用這個問題了。
所以,我們不去問模型關於它自己的事,而是看那些它很難偽裝的地方。
真正能揭穿假貨的線索
有些跡象夠明顯,光憑一項就能判定管道不合格:
- 它表現得像另一個產品。有些轉售商把「Claude」接到程式碼編輯器內建的免費程式設計助手上。請它寫一個關於走失小貓的兩句話悲傷故事,它會拒絕:「我是來幫你寫程式的。」真正的 Claude 從來不會這樣。
- 它洩漏了自己真正的指令。模型被偽裝時,隱藏指令會要求它絕不提起真正的開發者。會顯示推理過程的模型,即使每個回答都自稱「Claude」,也常常在思考時把這條指令複述出來。我們是在推理過程裡抓到偽裝的,而不是在回答裡。
- 回覆帶著錯誤的標籤。每則回覆除了正文,還附帶技術細節,其中包括是哪個模型產生的。以「Claude Opus」名義販售的回覆,如果在自己的細節裡寫著另一個模型,或是更便宜的 Claude 等級,就會在這裡被發現。
- 它跳過了不能跳過的思考。最新的 Claude 模型一定會先推理再回答。一個完全不推理就直接回答的「Claude」,並不是那個模型。
- 它突然換成另一種語言。好幾種廉價替代品是中國的模型,有時回答到一半會轉成中文。真正的 Claude 不會這樣。
- 所謂的「回答」其實是錯誤頁面。有些轉售商把自己的內容過濾訊息或錯誤頁面,當成模型的回覆傳給你。你付了錢,卻什麼也沒拿到。
另一些跡象會當作證據保存下來,在幾週內反覆比對,因為只看一次結果可能會被誤導:
- 思考簽章。真正的 Claude 會在自己的推理上加上只有 Anthropic 才能產生的簽章。
- 它怎麼數你的字。每個模型家族把文字切成 token 的方式都不一樣,而你是按 token 計費的。用一段每個家族切法都不同的文字,只看一個數字,就能知道是哪一類模型在計數。
- 它偏愛的隨機答案。多次請模型給出一個隨機數字、一種顏色或一座城市,每個模型家族都有自己的答案規律。累積幾天之後,這種規律就能區分不同家族,也能看出轉售商是否在同一個名字背後混用了好幾個模型。
- 轉售商加進去的隱藏提示詞。請模型複述先前收到的指令時,它常常會把轉售商偷偷塞在你訊息前面的內容唸出來。
我們從不因為逾時或連線不穩而判定管道不合格,只看模型實際回答了什麼。
哪些不算假貨
Claude 也透過 Amazon Bedrock、Google Vertex AI 和 Microsoft Foundry 販售。這些平台經過授權運行 Anthropic 的真 Claude,所以轉售商在那裡購買用量再轉售,賣的就是真貨。在這些平台上運行的 Claude,被問到是誰開發的時候,有時會回答「Amazon」或「Google」,因為平台加入了自己的指令。我們不會因此扣分。
任何測試都無法告訴你的事
坦白說明限制,和檢查本身一樣重要。從外部來看,沒有人能證明一個模型的確切版本,也無法證明它是否為了降低成本而被壓縮過。而且今天通過檢查的轉售商,明天也可能更換後端,所以我們會按排程持續測試每個管道,而不是只測一次。
我們剛開始時的發現
今年 4 月,我們對 8 家熱門的 Claude 轉售商進行了為期 17 天的檢測。他們以 Claude 名義販售的管道中,有 183 個根本不是 Claude,其中大多數是掛著 Claude 名牌的程式設計助手。正因如此,我們把這些檢查直接做進了路由裡。我們的同步引擎 new-api-sync 會在每個管道接入流量之前找出並測試它,之後也會持續重新測試,所以沒通過檢查的管道不會在我們的網路裡處理你的請求。
測試你自己的服務商
不需要安裝任何東西。打開 API 模型測試工具,貼上服務商的網址和金鑰,選擇一個模型,它就會即時執行這些檢查,並清楚告訴你哪些通過、哪些沒通過。
比較喜歡用命令列?這就是上面提到的小貓測試。如果回覆拒絕了你,或把話題往寫程式上帶,那你的「Claude」就不是 Claude。
curl https://YOUR-PROVIDER/v1/messages \
-H "x-api-key: $YOUR_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "content-type: application/json" \
-d '{
"model": "claude-opus-4-7",
"max_tokens": 150,
"messages": [{
"role": "user",
"content": "Tell me a 2-sentence sad story about a lost kitten."
}]
}'這兩個部分都是開源的,任何人都可以查看它們的運作方式,或自己執行:檢查由 ai-model-verifier 負責(也已發布在 npm 上),而 new-api-sync 負責在我們串接的每個服務商上執行這些檢查。
Qronos AI 在 UnoRouter 上運行其 LLM 閘道,並經營一個以 AI 角色扮演和故事創作為主的 Discord 社群。介紹他們是誰,以及我們的合作夥伴計畫如何運作。
UnoRouter 上的同意現在綁定供應商,而不再綁定免費模型;一次同意即涵蓋該供應商提供的所有模型,無論付費或免費。以下說明哪些供應商需要同意、如何同意或反對,以及 API 用戶端會看到什麼。
免費模型由可能將你的輸入用於自身目的的供應商提供。現在你需要為每個模型確認一次。以下說明原因與方法。