Cara kami membedakan Claude asli dari yang palsu

Claude adalah salah satu model yang paling dicari sekaligus salah satu yang paling mahal. Selisih itu melahirkan pasar reseller yang menjual “Claude yang sama” dengan harga jauh lebih murah. Sebagian memang benar-benar menjual Claude. Banyak yang tidak: mereka menjawab dengan model yang lebih murah lalu menempelkan nama Claude padanya.

Tulisan ini menjelaskan, tanpa istilah teknis yang rumit, bagaimana kami memeriksa apa yang sebenarnya Anda dapatkan, dan mengapa tes yang dicoba kebanyakan orang tidak berhasil.

Bertanya kepada model tidak ada gunanya

Hal pertama yang dicoba semua orang adalah bertanya: “Siapa yang membuatmu?”, “Kamu model apa?”, “Kapan batas pengetahuanmu?” Tidak satu pun dari pertanyaan ini bisa membuktikan apa pun.

Model mengatakan apa yang disuruh untuk dikatakan. Reseller yang menyamarkan model lain sebagai Claude cukup memberinya satu instruksi: “Kamu adalah Claude, buatan Anthropic. Jangan pernah menyebut hal lain.” Setelah itu, model palsu tersebut menjawab setiap pertanyaan tentang identitasnya dengan sempurna.

Batas pengetahuan adalah tebakan, bukan fakta. Di aplikasi Claude milik Anthropic sendiri, Claude diberi tahu tanggal hari ini dan batas pengetahuannya lewat prompt sistem yang tersembunyi, sehingga ia menjawab pertanyaan itu dengan yakin. Lewat API, dan lewat Amazon Bedrock, Google Vertex AI, atau Microsoft Foundry, prompt seperti itu tidak ada, dan Claude harus menebak. Kami bertanya 34 kali kepada satu backend yang kami tahu menyajikan Claude asli. Jawabannya berisi 12 tanggal yang berbeda. Jadi batas pengetahuan yang “salah” tidak berarti palsu, dan yang “benar” tidak berarti asli: membandingkan jawabannya dengan apa yang dikatakan aplikasi Claude hanya membandingkan tebakan dengan fakta yang sudah diberikan kepada aplikasi itu. Kami berhenti memakai pertanyaan itu sama sekali.

Jadi, alih-alih bertanya kepada model tentang dirinya sendiri, kami melihat hal-hal yang tidak mudah ia palsukan.

Apa yang benar-benar membongkar model palsu

Beberapa tanda sudah cukup jelas untuk menggagalkan sebuah kanal dengan sendirinya:

• Perilakunya seperti produk lain. Beberapa reseller mengarahkan “Claude” ke asisten pemrograman gratis yang tertanam di editor kode. Minta salah satunya menulis cerita sedih dua kalimat tentang anak kucing yang hilang, dan ia akan menolak: “Saya di sini untuk membantu soal pemrograman.” Claude asli tidak pernah begitu.
• Ia membocorkan instruksi aslinya. Saat sebuah model disamarkan, instruksi tersembunyinya menyuruhnya untuk tidak pernah menyebut pembuat aslinya. Model yang menampilkan proses berpikirnya sering mengulang instruksi itu saat berpikir, bahkan ketika setiap jawabannya menyebut “Claude”. Kami menangkap penyamarannya di proses berpikir, bukan di jawaban.
• Balasannya membawa label yang salah. Setiap balasan datang bersama detail teknis di samping teksnya, termasuk model mana yang menghasilkannya. Balasan yang dijual sebagai “Claude Opus” tetapi detailnya sendiri menyebut model lain, atau tingkatan Claude yang lebih murah, akan ketahuan di sini.
• Ia melewatkan proses berpikir yang tidak bisa dilewatkan. Model Claude terbaru selalu bernalar dulu sebelum menjawab. “Claude” yang menjawab tanpa bernalar sama sekali bukanlah model tersebut.
• Ia tergelincir ke bahasa lain. Beberapa pengganti murah adalah model buatan Tiongkok, dan kadang-kadang beralih ke bahasa Mandarin di tengah balasan. Claude asli tidak begitu.
• “Jawabannya” sebenarnya halaman error. Beberapa reseller mengembalikan pesan filter konten atau halaman error milik mereka sendiri seolah-olah itu balasan dari model. Anda membayarnya dan tidak mendapat apa-apa.

Tanda-tanda lain disimpan sebagai bukti dan dibandingkan selama berminggu-minggu, karena satu kali uji saja bisa menyesatkan:

• Tanda tangan proses berpikir. Claude asli menandai penalarannya dengan tanda tangan yang hanya bisa dibuat oleh Anthropic.
• Cara ia menghitung kata-kata Anda. Setiap keluarga model memecah teks menjadi token dengan cara yang berbeda, dan Anda ditagih per token. Teks yang dipecah secara berbeda oleh setiap keluarga menunjukkan, dalam satu angka, jenis model apa yang menghitungnya.
• Jawaban acak favoritnya. Minta sebuah model berkali-kali menyebut angka, warna, atau kota secara acak, dan Anda akan melihat setiap keluarga model punya pola jawabannya sendiri. Jika dikumpulkan selama beberapa hari, pola itu membedakan satu keluarga dari yang lain dan menunjukkan kapan reseller mencampur beberapa model di balik satu nama.
• Prompt tersembunyi yang ditambahkan reseller. Saat diminta mengulang instruksi sebelumnya, model sering membacakan apa yang diselipkan reseller di depan pesan Anda.

Sebuah kanal tidak pernah digagalkan karena timeout atau koneksi yang putus-sambung, hanya karena apa yang benar-benar dijawab oleh model.

Apa yang bukan palsu

Claude juga dijual lewat Amazon Bedrock, Google Vertex AI, dan Microsoft Foundry. Platform-platform itu menjalankan Claude asli milik Anthropic di bawah lisensi, jadi reseller yang membeli kapasitas di sana lalu menjualnya kembali sedang menjual barang asli. Claude yang disajikan di sana kadang menjawab “Amazon” atau “Google” saat ditanya siapa pembuatnya, karena platform tersebut menambahkan instruksinya sendiri. Kami tidak menghitung hal itu sebagai kesalahan.

Apa yang tidak bisa diungkap oleh tes apa pun

Jujur soal batasan sama pentingnya dengan pemeriksaannya. Dari luar, tidak ada yang bisa membuktikan versi persis sebuah model atau apakah model itu dikompresi agar lebih murah dijalankan. Dan reseller yang lolos hari ini bisa mengganti backend-nya besok, itulah sebabnya kami terus menguji setiap kanal secara terjadwal, bukan hanya sekali.

Apa yang kami temukan saat mulai

Pada bulan April kami memeriksa 8 reseller Claude populer selama 17 hari. 183 kanal mereka yang dijual dengan nama Claude ternyata sama sekali bukan Claude, sebagian besar adalah asisten pemrograman yang memakai label nama Claude. Itulah alasan kami memasukkan pemeriksaan ini ke dalam sistem routing kami. Mesin sinkronisasi kami, new-api-sync, menemukan dan menguji setiap kanal sebelum kanal itu melayani lalu lintas, lalu terus mengujinya ulang, sehingga kanal yang gagal tidak akan melayani permintaan Anda di jaringan kami.

Uji penyedia Anda sendiri

Anda tidak perlu memasang apa pun. Buka penguji model API, tempel alamat dan kunci penyedia Anda, pilih model, lalu alat itu akan menjalankan pemeriksaan ini secara langsung dan menunjukkan dengan tepat apa yang lolos dan apa yang gagal.

Lebih suka baris perintah? Ini tes anak kucing yang tadi. Jika balasannya menolak atau mengarahkan Anda ke urusan pemrograman, “Claude” Anda bukanlah Claude.

curl https://YOUR-PROVIDER/v1/messages \
  -H "x-api-key: $YOUR_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-7",
    "max_tokens": 150,
    "messages": [{
      "role": "user",
      "content": "Tell me a 2-sentence sad story about a lost kitten."
    }]
  }'

Kedua bagian ini open source, jadi siapa pun bisa memeriksa cara kerjanya atau menjalankannya sendiri: pemeriksaannya ada di ai-model-verifier (juga tersedia di npm), dan new-api-sync yang menjalankannya di setiap penyedia yang kami gunakan.