Fixação de grupos
Trave um modelo em grupos de provedores específicos e nas tarifas deles, em vez do roteamento automático pelo mais barato.
Roteamento auto vs fixação
Cada modelo é servido por um ou mais grupos de provedores, cada um com seu preço. Por padrão uma chave usa auto: cada requisição vai para o grupo mais barato que estiver no ar.
A fixação substitui isso por modelo: você escolhe exatamente quais grupos ele pode usar, e a cobrança fica travada nas tarifas deles. Útil quando você precisa da qualidade ou região de um provedor específico, ou de uma tarifa que não pode variar.
Vendo os preços por grupo
A página de detalhes de cada modelo lista cada grupo com preço de entrada e saída em Group Pricing; o selo de desconto na lista de modelos sempre reflete o grupo mais barato.
Fixando grupos em uma chave
Abra Chaves de API, crie ou edite uma chave e abra o seletor de grupos. Busque um modelo, clique nele e marque um ou mais grupos de provedores, ordenados do mais barato com seu multiplicador de tarifa. Modelos que você não mexer continuam em auto.
Modelos fixados sobem ao topo com um selo mostrando em quantos grupos estão travados; Limpar tudo devolve a chave ao auto completo. A lista de chaves mostra chaves fixadas como auto +N.
Como as requisições fixadas roteiam
Um modelo fixado roteia apenas dentro dos seus grupos fixados: o mais barato é tentado primeiro, com failover automático para o próximo em erros ou quedas. A tarifa cobrada é a do grupo que de fato atendeu a requisição.
Um cabeçalho X-Group explícito na requisição ainda vence a fixação, e modelos não fixados mantêm o roteamento pelo mais barato disponível.
Combine uma fixação com um acompanhamento para saber quando os grupos mudam de preço ou caem, veja Notificações
Quando os grupos fixados caem
Se todos os grupos fixados de um modelo caírem enquanto outros provedores ainda o servem, as requisições falham com um erro direcionado em vez de uma mensagem genérica:
{
"error": {
"message": "Your pinned provider groups for model \"glm-5.2\" are currently unavailable, but the model is still served by other providers. Edit this key's group override, or try again later.",
"type": "new_api_error",
"code": "get_channel_failed"
}
}Amplie ou remova a fixação da chave, ou tente de novo mais tarde. O modelo em si continua no ar.