Как подключить любую LLM к SillyTavern

SillyTavern это фронтенд, а не хост моделей. Чтобы им пользоваться, вы направляете его на OpenAI-совместимый эндпоинт и вставляете ключ, и тогда он может управлять почти любой моделью за этим эндпоинтом. Самый чистый способ дотянуться до многих моделей это шлюз, так что один ключ и базовый URL открывают весь каталог вместо одного поставщика. Вот точная настройка плюс как переключать модели и чинить ошибки, на которые люди обычно натыкаются.

Что нужно сначала

Три вещи: работающая установка SillyTavern, OpenAI-совместимый эндпоинт и ключ к нему. Шлюз закрывает две последние разом, потому что даёт вам один базовый URL и один ключ, которые достают до многих моделей. С UnoRouter вы создаёте аккаунт, берёте ключ и готовы; есть бесплатный уровень, так что вы можете протестировать персонажа, прежде чем что-то тратить. Держите ключ под рукой и не вставляйте его нигде публично.

Шаги настройки

В SillyTavern откройте панель API и выберите Chat Completion, затем источник, совместимый с OpenAI (Custom). Задайте базовый URL https://api.unorouter.com/v1, вставьте свой ключ UnoRouter и нажмите, чтобы загрузить список моделей. Выберите модель из выпадающего списка и отправьте тестовое сообщение. Ваши персонажи, лорбуки и пресеты работают без изменений, потому что SillyTavern нужны были только конечная точка и ключ. Тот же ключ также работает в Janitor.AI, RisuAI и Chub.

Переключение моделей позже

Поскольку всё идёт через один эндпоинт, смена моделей это просто выбор другой записи в выпадающем списке моделей; никакого нового аккаунта, ключа или базового URL. Это позволяет вам запускать дешёвую бесплатную модель, пока вы выстраиваете сцену, а затем переключиться на более сильную платную модель для важного момента. С более чем 200 моделями на одном ключе вы можете подбирать модель под сцену вместо того, чтобы довольствоваться тем, что предлагает один поставщик.

Частые ошибки и их устранение

Если список моделей не загружается, перепроверьте, что базовый URL оканчивается на /v1 и ключ вставлен без лишних пробелов. 401 означает, что ключ неверный или истёк; скопируйте его заново. 404 по модели означает, что это имя модели не выбрано из загруженного списка. Если ответы обрываются, повысьте длину ответа в настройках SillyTavern. Большинство сбоев настройки это опечатка в базовом URL или ключ с пробелами, так что проверьте это первым.

Вот и весь фокус

Подключение любого LLM к SillyTavern сводится к одной конечной точке, совместимой с OpenAI, плюс ключу, а шлюз превращает это во множество моделей за одной настройкой. UnoRouter даёт вам этот базовый URL, бесплатный уровень для старта и 200+ моделей, между которыми можно переключаться, ничего не переделывая. Настройте один раз, и тот же ключ следует за вами в каждом фронтенде чата с персонажами.

Готовы подключить SillyTavern? Создайте бесплатный аккаунт или посмотрите модели.