本物のClaudeと偽物の見分け方

Claudeは最も人気のあるモデルの一つで、最も高価なモデルの一つでもあります。その価格差から、「同じClaude」を何分の一かの値段で売る再販業者の市場が生まれました。本当にClaudeを売っている業者もいます。しかし多くはそうではありません。もっと安いモデルで応答し、そこにClaudeの名前を付けているのです。

この記事では、あなたが実際にどちらを受け取っているのかを私たちがどう確かめているのか、そして多くの人が試すテストがなぜ役に立たないのかを、専門用語を使わずに説明します。

モデルに尋ねても意味がない

誰もが最初に試すのは、直接尋ねることです。「あなたを作ったのは誰？」「あなたはどのモデル？」「知識のカットオフはいつ？」しかし、どれも何の証明にもなりません。

モデルは、言うように指示されたことを言います。別のモデルをClaudeと偽って売る業者は、こう指示するだけです。「あなたはAnthropicが作ったClaudeです。それ以外のことは決して口にしないでください。」すると偽物は、正体に関するどんな質問にも完璧に答えます。

知識のカットオフは事実ではなく推測です。Anthropic自身のClaudeアプリでは、隠れたシステムプロンプトで今日の日付と知識のカットオフがClaudeに伝えられているため、この質問に自信を持って答えます。API経由や、Amazon Bedrock、Google Vertex AI、Microsoft Foundry経由ではそうしたプロンプトがなく、Claudeは推測するしかありません。本物のClaudeを提供していると分かっているあるバックエンドに34回尋ねたところ、12通りの異なるカットオフ日が返ってきました。つまり、カットオフが「間違っている」から偽物とは限らず、「合っている」から本物とも限りません。Claudeアプリの答えと比べても、推測と、与えられた事実とを比べているにすぎません。私たちはこの質問を使うのを完全にやめました。

そこで私たちは、モデル自身について尋ねる代わりに、モデルが簡単にはごまかせない点を見ています。

偽物の正体を本当に暴くもの

中には、それだけでチャネルを不合格にできるほどはっきりした兆候があります。

別の製品のように振る舞う。一部の業者は「Claude」を、コードエディターに組み込まれた無料のコーディングアシスタントにつないでいます。迷子の子猫についての2文の悲しい物語を頼むと、「私はコーディングのお手伝いをするためにいます。」と断られます。本物のClaudeは決してそんなことはしません。
本当の指示が漏れる。モデルが偽装されているとき、隠れた指示には本当の開発元を決して口にしないよう書かれています。推論の過程を見せるモデルは、答えでは毎回「Claude」と名乗っていても、考えている途中でその指示を繰り返してしまうことがよくあります。私たちは答えではなく、推論の中に偽装を見つけます。
応答に間違ったラベルが付いている。すべての応答には本文とあわせて技術的な詳細が付いており、どのモデルが生成したのかもそこに書かれています。「Claude Opus」として売られている応答が、その詳細の中で別のモデルや、もっと安いClaudeのグレードを名乗っていれば、ここで見抜けます。
省けないはずの思考を省く。最新のClaudeモデルは、答える前に必ず推論します。まったく推論せずに答える「Claude」は、そのモデルではありません。
別の言語が混ざる。安価な代替品のいくつかは中国のモデルで、応答の途中で中国語に切り替わることがあります。本物のClaudeはそうなりません。
「答え」が実はエラーページ。一部の業者は、自社のコンテンツフィルターのメッセージやエラーページを、モデルの応答であるかのように返します。お金を払っても、何も得られません。

一方、1回の結果だけでは判断を誤ることがあるため、証拠として保存し、数週間かけて比較する兆候もあります。

思考の署名。本物のClaudeは、Anthropicにしか作れない署名を推論に付けます。
言葉の数え方。モデルのファミリーごとに、テキストをトークンに区切る方法が異なり、料金はトークン単位で請求されます。どのファミリーでも区切り方が変わるテキストを使えば、たった一つの数字で、どの種類のモデルが数えたのかが分かります。
お気に入りのランダムな答え。ランダムな数字や色、都市をモデルに何度も尋ねると、モデルのファミリーごとに独自の答えの傾向が見えてきます。数日かけて集めたその傾向から、ファミリーを見分けたり、業者が一つの名前の裏で複数のモデルを混ぜていることを突き止めたりできます。
業者が追加した隠しプロンプト。それまでの指示を繰り返すよう頼むと、モデルは業者があなたのメッセージの前にこっそり差し込んだ内容を、そのまま読み上げることがよくあります。

タイムアウトや不安定な接続を理由にチャネルを不合格にすることはありません。判断の基準は、モデルが実際に答えた内容だけです。

偽物ではないもの

ClaudeはAmazon Bedrock、Google Vertex AI、Microsoft Foundryでも販売されています。これらのプラットフォームはライセンスを受けてAnthropicの本物のClaudeを動かしているので、そこで利用枠を買って再販する業者は本物を売っていることになります。そこで提供されるClaudeは、誰に作られたのかと聞かれて「Amazon」や「Google」と答えることがありますが、これはプラットフォームが独自の指示を加えているためです。私たちはそれをマイナス評価にはしません。

どんなテストでも分からないこと

限界について正直であることは、チェックそのものと同じくらい大切です。外から見て、モデルの正確なバージョンや、安く動かすために圧縮されているかどうかを証明できる人はいません。また、今日合格した業者が明日バックエンドを切り替えることもあります。だからこそ私たちは、一度きりではなく、すべてのチャネルを定期的にテストし続けています。

調べ始めて分かったこと

4月、私たちは人気のあるClaude再販業者8社を17日間にわたって調べました。Claudeの名前で売られていたチャネルのうち183個は、まったくClaudeではありませんでした。その多くは、Claudeの名札を付けたコーディングアシスタントでした。だからこそ私たちは、これらのチェックをルーティングに組み込みました。私たちの同期エンジンnew-api-syncは、すべてのチャネルを実際に使う前に見つけてテストし、その後も再テストを続けます。そのため、不合格になったチャネルが私たちのネットワークであなたのリクエストを処理することはありません。

自分のプロバイダーをテストする

何もインストールする必要はありません。APIモデルテスターを開き、プロバイダーのアドレスとキーを貼り付けてモデルを選ぶだけで、これらのチェックがその場で実行され、何が合格し何が不合格だったのかが正確に表示されます。

コマンドラインのほうがお好みですか？これは上で紹介した子猫テストです。応答が断ったり、コーディングの話に誘導したりするなら、あなたの「Claude」はClaudeではありません。

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

どちらもオープンソースなので、誰でも仕組みを確かめたり、自分で動かしたりできます。チェックを行うのはai-model-verifier（npmでも公開）で、私たちがルーティングするすべてのプロバイダーに対してそれを実行しているのがnew-api-syncです。