Ghim nhóm

Mỗi mô hình được phục vụ bởi một hoặc nhiều nhóm nhà cung cấp, mỗi nhóm có giá riêng. Mặc định, khóa dùng auto: mỗi yêu cầu đi tới nhóm rẻ nhất đang hoạt động.

Việc ghim ghi đè điều này theo từng mô hình. Bạn chọn nó được dùng những nhóm nào, và việc tính tiền bị khóa theo mức giá của các nhóm đó.

Mỗi trang mô hình liệt kê mọi nhóm kèm giá đầu vào và đầu ra dưới mục Group Pricing. Huy hiệu giảm giá trong danh sách mô hình phản ánh nhóm rẻ nhất.

Mở Khóa API, tạo hoặc sửa một khóa, rồi mở bộ chọn nhóm. Tìm một mô hình, nhấp vào nó, và đánh dấu một hoặc nhiều nhóm, sắp xếp theo giá tăng dần. Các mô hình không đụng tới vẫn giữ auto.

Các mô hình đã ghim được sắp lên đầu kèm huy hiệu cho biết số nhóm. Clear all đặt lại khóa về auto. Danh sách khóa hiển thị các khóa đã ghim là auto +N.

Thay vì tích chọn từng nhà cung cấp, hãy kéo thanh khoảng giá hai đầu trên một mô hình để chỉ định tuyến qua các nhà cung cấp có mức giá nằm trong khoảng đó. Vì việc chọn dựa trên giá chứ không phải tên, các nhà cung cấp mới rơi vào khoảng này sẽ được dùng tự động.

Khoảng giá và các nhà cung cấp đã ghim kết hợp theo phép hợp: khoảng giá bao phủ các nhà cung cấp rẻ, còn việc ghim giữ lại một nhà cung cấp đắt cụ thể làm phương án dự phòng dù nằm ngoài khoảng. Hệ thống vẫn thử nhà cung cấp rẻ nhất trước, nên chỉ dùng dự phòng khi mọi lựa chọn rẻ hơn đều thất bại.

Chế độ tự động đưa mô hình trở lại chuỗi thông thường, rẻ nhất trước. Khoảng giá và các ghim vẫn được lưu nhưng không hoạt động, nên khi tắt sẽ khôi phục đúng cấu hình trước đó.

Một mô hình đã ghim chỉ định tuyến trong các nhóm được ghim, rẻ trước, và chuyển dự phòng khi có lỗi. Nhóm thực sự phục vụ yêu cầu quyết định mức giá được tính.

Kết hợp ghim với theo dõi để biết khi các nhóm đổi giá hoặc ngừng hoạt động, xem Thông báo

Để ghim một yêu cầu duy nhất mà không đổi khóa, hãy gửi header X-Group kèm đúng tên nhóm. Nó ghi đè phần ghim của khóa và định tuyến auto. Hãy sao chép tên từ Group Pricing.

curl https://api.unorouter.com/v1/chat/completions \
  -H "Authorization: Bearer $UNOROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -H "X-Group: glm-new-pol-glm-5.2" \
  -d '{
    "model": "glm-5.2",
    "messages": [{ "role": "user", "content": "Hello" }]
  }'

Header phải nêu một nhóm mà khóa được phép dùng, nếu không yêu cầu sẽ bị từ chối. Các mô hình chưa ghim vẫn theo định tuyến rẻ nhất.

Nếu mọi nhóm đã ghim đều ngừng hoạt động trong khi các nhà cung cấp khác vẫn phục vụ mô hình đó, yêu cầu sẽ thất bại với một lỗi cụ thể thay vì thông báo bận chung chung:

{
  "error": {
    "message": "Your pinned provider groups for model \"glm-5.2\" are currently unavailable, but the model is still served by other providers. Edit this key's group override, or try again later.",
    "type": "new_api_error",
    "code": "get_channel_failed"
  }
}

Hãy mở rộng hoặc bỏ ghim, hoặc thử lại sau. Bản thân mô hình vẫn hoạt động.