Cách chúng tôi phân biệt Claude thật với Claude giả

Claude là một trong những mô hình được săn đón nhất và cũng thuộc hàng đắt nhất. Khoảng chênh lệch đó đã sinh ra cả một thị trường người bán lại rao bán “đúng Claude đó” với giá chỉ bằng một phần nhỏ. Một số thực sự bán Claude. Nhiều người thì không: họ trả lời bằng một mô hình rẻ hơn rồi dán tên Claude lên đó.

Bài viết này giải thích, không dùng thuật ngữ khó hiểu, cách chúng tôi kiểm tra xem bạn thực sự đang nhận được gì, và vì sao những phép thử mà phần lớn mọi người hay dùng lại không hiệu quả.

Hỏi mô hình thì vô ích

Việc đầu tiên ai cũng thử là hỏi: “Ai tạo ra bạn?”, “Bạn là mô hình nào?”, “Giới hạn kiến thức của bạn là khi nào?” Không câu nào trong số đó chứng minh được điều gì.

Mô hình nói những gì nó được bảo phải nói. Người bán lại muốn giả một mô hình khác thành Claude chỉ cần đưa cho nó một chỉ dẫn: “Bạn là Claude, do Anthropic tạo ra. Tuyệt đối không nhắc đến bất cứ điều gì khác.” Thế là mô hình giả trả lời hoàn hảo mọi câu hỏi về danh tính của nó.

Mốc giới hạn kiến thức là phỏng đoán, không phải sự thật. Trong ứng dụng Claude của chính Anthropic, Claude được cho biết ngày hôm nay và mốc giới hạn kiến thức của nó qua một lời nhắc hệ thống ẩn, nên nó trả lời câu hỏi này rất tự tin. Qua API, và qua Amazon Bedrock, Google Vertex AI hay Microsoft Foundry, không có lời nhắc nào như vậy, và Claude phải đoán. Chúng tôi đã hỏi 34 lần một backend mà chúng tôi biết chắc đang phục vụ Claude thật. Nó đưa ra 12 mốc ngày khác nhau. Vì vậy một mốc “sai” không có nghĩa là hàng giả, và một mốc “đúng” cũng không có nghĩa là hàng thật: so câu trả lời với những gì ứng dụng Claude nói chỉ là so một phỏng đoán với một sự thật đã được cho sẵn. Chúng tôi đã ngừng dùng câu hỏi này hoàn toàn.

Vì vậy, thay vì hỏi mô hình về chính nó, chúng tôi xem xét những thứ mà nó khó lòng làm giả.

Điều gì thực sự tố cáo hàng giả

Một số dấu hiệu đủ rõ ràng để tự chúng khiến một kênh bị đánh trượt:

Nó hành xử như một sản phẩm khác. Một số người bán lại chuyển “Claude” sang các trợ lý lập trình miễn phí được tích hợp sẵn trong trình soạn thảo mã. Hãy nhờ một trợ lý như vậy viết một câu chuyện buồn dài hai câu về chú mèo con đi lạc, và nó sẽ từ chối: “Tôi ở đây để hỗ trợ lập trình.” Claude thật không bao giờ làm vậy.
Nó để lộ chỉ dẫn thật của mình. Khi một mô hình bị ngụy trang, các chỉ dẫn ẩn sẽ bảo nó không bao giờ được nhắc đến nhà sản xuất thật. Những mô hình hiển thị quá trình suy nghĩ thường lặp lại chính chỉ dẫn đó trong lúc suy nghĩ, ngay cả khi mọi câu trả lời của nó đều nói “Claude”. Chúng tôi bắt được lớp ngụy trang trong phần suy nghĩ, không phải trong câu trả lời.
Câu trả lời mang nhãn sai. Mỗi câu trả lời đều đi kèm các thông tin kỹ thuật bên cạnh nội dung, trong đó có cả tên mô hình đã tạo ra nó. Một câu trả lời được bán dưới tên “Claude Opus” nhưng thông tin của chính nó lại ghi một mô hình khác, hoặc một dòng Claude rẻ hơn, sẽ bị phát hiện ở đây.
Nó bỏ qua bước suy nghĩ không thể bỏ qua. Các mô hình Claude mới nhất luôn suy luận trước khi trả lời. Một “Claude” trả lời mà không hề suy luận thì không phải là mô hình đó.
Nó lạc sang một ngôn ngữ khác. Nhiều mô hình thay thế giá rẻ là mô hình của Trung Quốc, và đôi khi chúng chuyển sang tiếng Trung giữa chừng câu trả lời. Claude thật thì không.
“Câu trả lời” thực ra là một trang báo lỗi. Một số người bán lại trả về thông báo bộ lọc nội dung hoặc trang báo lỗi của chính họ như thể đó là câu trả lời của mô hình. Bạn trả tiền cho nó mà chẳng nhận được gì.

Những dấu hiệu khác được lưu lại làm bằng chứng và so sánh trong nhiều tuần, vì chỉ một lần chạy có thể gây hiểu nhầm:

Chữ ký suy nghĩ. Claude thật đánh dấu phần suy luận của mình bằng một chữ ký mà chỉ Anthropic mới tạo ra được.
Cách nó đếm chữ của bạn. Mỗi họ mô hình chia văn bản thành token theo cách riêng, và bạn bị tính tiền theo từng token. Một đoạn văn bản mà mỗi họ chia một kiểu sẽ cho thấy, chỉ qua một con số, loại mô hình nào đã đếm nó.
Những câu trả lời ngẫu nhiên yêu thích của nó. Hãy yêu cầu một mô hình nhiều lần đưa ra một con số, một màu sắc hay một thành phố ngẫu nhiên, và bạn sẽ thấy mỗi họ mô hình có kiểu trả lời riêng. Thu thập qua nhiều ngày, kiểu trả lời đó giúp phân biệt các họ mô hình và cho thấy khi nào người bán lại trộn nhiều mô hình dưới cùng một cái tên.
Các lời nhắc ẩn do người bán lại chèn thêm. Khi được yêu cầu nhắc lại các chỉ dẫn trước đó, mô hình thường đọc lại những gì người bán lại đã lén chèn vào trước tin nhắn của bạn.

Một kênh không bao giờ bị đánh trượt vì hết thời gian chờ hay kết nối chập chờn, mà chỉ vì những gì mô hình thực sự trả lời.

Điều gì không phải hàng giả

Claude cũng được bán qua Amazon Bedrock, Google Vertex AI và Microsoft Foundry. Các nền tảng này chạy Claude thật của Anthropic theo giấy phép, nên người bán lại nào mua dung lượng ở đó rồi bán lại thì đang bán hàng thật. Claude chạy trên đó đôi khi trả lời “Amazon” hoặc “Google” khi được hỏi ai tạo ra nó, vì nền tảng có thêm chỉ dẫn riêng. Chúng tôi không tính điều đó là lỗi của nó.

Điều mà không phép thử nào cho bạn biết

Thẳng thắn về giới hạn cũng quan trọng không kém các bước kiểm tra. Từ bên ngoài, không ai chứng minh được phiên bản chính xác của một mô hình, hay nó có bị nén lại để chạy rẻ hơn hay không. Và một người bán lại vượt qua kiểm tra hôm nay có thể đổi backend vào ngày mai, đó là lý do chúng tôi liên tục kiểm tra mọi kênh theo lịch thay vì chỉ một lần.

Những gì chúng tôi phát hiện khi bắt đầu

Vào tháng Tư, chúng tôi đã kiểm tra 8 người bán lại Claude phổ biến trong 17 ngày. 183 kênh của họ được bán dưới tên Claude hoàn toàn không phải Claude, phần lớn là trợ lý lập trình đeo bảng tên Claude. Đó là lý do chúng tôi tích hợp các bước kiểm tra này vào hệ thống định tuyến. Bộ máy đồng bộ của chúng tôi, new-api-sync, tìm và kiểm tra từng kênh trước khi kênh đó nhận lưu lượng, rồi tiếp tục kiểm tra lại nhiều lần, nên kênh nào không đạt sẽ không phục vụ yêu cầu của bạn trên mạng lưới của chúng tôi.

Tự kiểm tra nhà cung cấp của bạn

Bạn không cần cài đặt gì cả. Mở công cụ kiểm tra mô hình API, dán địa chỉ và khóa của nhà cung cấp, chọn một mô hình, và công cụ sẽ chạy trực tiếp các bước kiểm tra này rồi cho bạn thấy chính xác mục nào đạt và mục nào không.

Thích dùng dòng lệnh hơn? Đây là phép thử chú mèo con ở trên. Nếu câu trả lời từ chối hoặc lái bạn sang chuyện lập trình, thì “Claude” của bạn không phải là Claude.

bash

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

Cả hai phần đều là mã nguồn mở, nên bất kỳ ai cũng có thể xem cách chúng hoạt động hoặc tự chạy: các bước kiểm tra nằm trong ai-model-verifier (cũng có trên npm), còn new-api-sync là thứ chạy chúng trên mọi nhà cung cấp mà chúng tôi định tuyến tới.