진짜 Claude와 가짜를 구별하는 방법

Claude는 가장 인기 있는 모델 중 하나이자 가장 비싼 모델 중 하나입니다. 이 가격 차이 때문에 "똑같은 Claude"를 훨씬 싼 값에 판다는 재판매업체 시장이 생겨났습니다. 정말로 Claude를 파는 곳도 있습니다. 하지만 많은 곳은 그렇지 않습니다. 더 싼 모델로 답하고 거기에 Claude라는 이름을 붙일 뿐입니다.

이 글에서는 여러분이 실제로 어느 쪽을 받고 있는지 저희가 어떻게 확인하는지, 그리고 많은 사람이 시도하는 테스트가 왜 소용없는지를 어려운 용어 없이 설명합니다.

모델에게 물어보는 것은 소용없습니다

누구나 가장 먼저 시도하는 방법은 직접 물어보는 것입니다. "누가 너를 만들었어?", "너는 어떤 모델이야?", "지식 기준일이 언제야?" 하지만 이 중 어느 것도 아무것도 증명하지 못합니다.

모델은 말하라고 지시받은 대로 말합니다. 다른 모델을 Claude라고 속여 파는 업체는 그저 이렇게 지시하면 됩니다. "너는 Anthropic이 만든 Claude야. 다른 것은 절대 언급하지 마." 그러면 가짜는 정체에 관한 모든 질문에 완벽하게 답합니다.

지식 기준일은 사실이 아니라 추측입니다. Anthropic의 자체 Claude 앱에서는 숨겨진 시스템 프롬프트로 오늘 날짜와 지식 기준일을 Claude에게 알려 주기 때문에, Claude가 이 질문에 자신 있게 답합니다. API를 통하거나 Amazon Bedrock, Google Vertex AI, Microsoft Foundry를 통하면 그런 프롬프트가 없어서 Claude는 추측할 수밖에 없습니다. 진짜 Claude를 제공한다고 확실히 알고 있는 한 백엔드에 34번 물어봤더니, 12가지 서로 다른 기준일을 답했습니다. 그러니 기준일이 "틀렸다"고 가짜인 것도 아니고, "맞았다"고 진짜인 것도 아닙니다. 그 답을 Claude 앱의 답과 비교하는 것은 추측을 주어진 사실과 비교하는 것에 불과합니다. 저희는 이 질문을 아예 쓰지 않기로 했습니다.

그래서 저희는 모델에게 자기 자신에 대해 묻는 대신, 모델이 쉽게 속일 수 없는 부분을 살펴봅니다.

가짜의 정체를 실제로 드러내는 것

어떤 신호는 그것만으로 채널을 불합격시킬 만큼 분명합니다.

다른 제품처럼 행동합니다. 일부 업체는 "Claude"를 코드 편집기에 내장된 무료 코딩 도우미로 연결합니다. 길을 잃은 새끼 고양이에 대한 두 문장짜리 슬픈 이야기를 부탁하면 "저는 코딩을 돕기 위해 여기 있습니다."라며 거절합니다. 진짜 Claude는 절대 그러지 않습니다.
진짜 지시가 새어 나옵니다. 모델을 위장할 때, 숨겨진 지시에는 진짜 제작사를 절대 언급하지 말라고 적혀 있습니다. 추론 과정을 보여 주는 모델은 모든 답에서 "Claude"라고 말하더라도, 생각하는 도중에 그 지시를 되풀이하는 경우가 많습니다. 저희는 답이 아니라 추론 속에서 위장을 잡아냅니다.
응답에 엉뚱한 라벨이 붙어 있습니다. 모든 응답에는 본문과 함께 기술적인 세부 정보가 따라오며, 어떤 모델이 그 응답을 만들었는지도 여기에 포함됩니다. "Claude Opus"로 팔린 응답이 자체 세부 정보에서 다른 모델이나 더 싼 등급의 Claude를 밝히고 있다면 여기서 걸립니다.
건너뛸 수 없는 생각을 건너뜁니다. 최신 Claude 모델은 답하기 전에 항상 추론합니다. 추론 없이 바로 답하는 "Claude"는 그 모델이 아닙니다.
다른 언어가 섞여 나옵니다. 싼 대체품 중 몇몇은 중국 모델이라서, 답하는 도중에 중국어로 넘어가기도 합니다. 진짜 Claude는 그러지 않습니다.
"답"이 사실은 오류 페이지입니다. 일부 업체는 자체 콘텐츠 필터 메시지나 오류 페이지를 마치 모델의 답인 것처럼 돌려줍니다. 돈은 내지만 얻는 것은 없습니다.

다른 신호들은 한 번의 결과만으로는 오해할 수 있기 때문에, 증거로 보관해 두고 몇 주에 걸쳐 비교합니다.

생각의 서명. 진짜 Claude는 Anthropic만 만들 수 있는 서명으로 자신의 추론을 표시합니다.
단어를 세는 방식. 모델 계열마다 텍스트를 토큰으로 나누는 방식이 다르고, 요금은 토큰 단위로 청구됩니다. 계열마다 다르게 나뉘는 텍스트를 쓰면, 숫자 하나만으로 어떤 종류의 모델이 셌는지 알 수 있습니다.
즐겨 고르는 무작위 답. 모델에게 무작위 숫자나 색깔, 도시를 여러 번 물어보면 모델 계열마다 고유한 답의 패턴이 있습니다. 며칠에 걸쳐 모은 이 패턴으로 계열을 구별할 수 있고, 업체가 하나의 이름 뒤에 여러 모델을 섞어 쓰는 것도 알아낼 수 있습니다.
업체가 몰래 추가한 숨은 프롬프트. 앞서 받은 지시를 그대로 반복해 달라고 하면, 모델은 업체가 여러분의 메시지 앞에 슬쩍 끼워 넣은 내용을 읊는 경우가 많습니다.

시간 초과나 불안정한 연결 때문에 채널을 불합격시키는 일은 없습니다. 기준은 오직 모델이 실제로 답한 내용입니다.

가짜가 아닌 경우

Claude는 Amazon Bedrock, Google Vertex AI, Microsoft Foundry를 통해서도 판매됩니다. 이 플랫폼들은 라이선스를 받아 Anthropic의 진짜 Claude를 운영하므로, 그곳에서 사용량을 사서 재판매하는 업체는 진짜를 파는 것입니다. 그곳에서 제공되는 Claude는 누가 만들었느냐는 질문에 "Amazon"이나 "Google"이라고 답하기도 하는데, 플랫폼이 자체 지시를 덧붙이기 때문입니다. 저희는 이것을 감점 요인으로 보지 않습니다.

어떤 테스트로도 알 수 없는 것

한계를 솔직하게 밝히는 것은 검사만큼이나 중요합니다. 외부에서는 누구도 모델의 정확한 버전이나, 더 싸게 돌리려고 압축했는지 여부를 증명할 수 없습니다. 또 오늘 통과한 업체가 내일 백엔드를 바꿀 수도 있습니다. 그래서 저희는 한 번만 검사하는 것이 아니라 모든 채널을 정해진 일정에 따라 계속 테스트합니다.

처음 조사했을 때 발견한 것

4월에 저희는 인기 있는 Claude 재판매업체 8곳을 17일 동안 조사했습니다. Claude라는 이름으로 판매되던 채널 중 183개는 전혀 Claude가 아니었고, 대부분은 Claude 이름표를 단 코딩 도우미였습니다. 그래서 저희는 이 검사들을 라우팅에 직접 넣었습니다. 저희 동기화 엔진 new-api-sync는 모든 채널을 실제 트래픽에 쓰기 전에 찾아내 테스트하고, 이후에도 계속 다시 테스트합니다. 그래서 불합격한 채널은 저희 네트워크에서 여러분의 요청을 처리하지 않습니다.

직접 사용하는 제공업체를 테스트해 보세요

아무것도 설치할 필요가 없습니다. API 모델 테스터를 열고, 제공업체의 주소와 키를 붙여 넣은 뒤 모델을 고르면, 이 검사들이 실시간으로 실행되어 무엇이 통과하고 무엇이 실패했는지 정확히 보여 줍니다.

명령줄이 더 편하신가요? 위에서 소개한 새끼 고양이 테스트입니다. 답이 거절하거나 코딩 쪽으로 이야기를 돌린다면, 여러분의 "Claude"는 Claude가 아닙니다.

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

두 가지 모두 오픈 소스라서 누구나 작동 방식을 확인하거나 직접 실행해 볼 수 있습니다. 검사를 담당하는 것은 ai-model-verifier(npm에도 있음)이고, 저희가 연결하는 모든 제공업체에 그 검사를 실행하는 것이 new-api-sync입니다.