Veröffentlicht
Produkt

So verbinden Sie jedes LLM mit SillyTavern

SillyTavern kann ueber einen OpenAI-kompatiblen Endpunkt mit fast jedem Modell sprechen. Hier ist die genaue Einrichtung, wie Sie Modelle wechseln und haeufige Fehler beheben.

·3 Min. Lesezeit·Von UnoRouter-Team
Produkt

SillyTavern ist ein Frontend, kein Modell-Host. Um es zu nutzen, richten Sie es auf einen OpenAI-kompatiblen Endpunkt und fuegen einen Schluessel ein, dann kann es fast jedes Modell hinter diesem Endpunkt ansteuern. Der saubrste Weg, viele Modelle zu erreichen, ist ein Gateway, sodass ein Schluessel und eine Basis-URL den ganzen Katalog freischalten statt eines einzelnen Anbieters. Hier ist die genaue Einrichtung, plus wie Sie Modelle wechseln und die Fehler beheben, die Leute ueblicherweise treffen.

Was Sie zuerst brauchen

Drei Dinge: eine laufende SillyTavern-Installation, einen OpenAI-kompatiblen Endpunkt und einen Schluessel dafuer. Ein Gateway deckt die letzten zwei auf einmal ab, weil es Ihnen eine Basis-URL und einen Schluessel gibt, die viele Modelle erreichen. Mit UnoRouter erstellen Sie ein Konto, holen Ihren Schluessel und sind bereit; es gibt eine kostenlose Stufe, sodass Sie einen Charakter testen koennen, bevor Sie etwas ausgeben. Halten Sie Ihren Schluessel bereit und fuegen Sie ihn nirgends oeffentlich ein.

Die Einrichtungsschritte

Oeffnen Sie in SillyTavern das API-Panel und waehlen Sie Chat Completion, dann die Quelle OpenAI-kompatibel (Custom). Setzen Sie die Basis-URL auf https://api.unorouter.com/v1, fuegen Sie Ihren UnoRouter-Schluessel ein und klicken Sie, um die Modellliste zu laden. Waehlen Sie ein Modell aus dem Dropdown und senden Sie eine Testnachricht. Ihre Charaktere, Lorebooks und Presets funktionieren unveraendert, weil SillyTavern nur einen Endpunkt und einen Schluessel brauchte. Derselbe Schluessel funktioniert auch in Janitor.AI, RisuAI und Chub.

Modelle spaeter wechseln

Weil alles ueber einen Endpunkt laeuft, ist ein Modellwechsel nur die Wahl eines anderen Eintrags im Modell-Dropdown; kein neues Konto, kein neuer Schluessel, keine neue Basis-URL. Das laesst Sie ein guenstiges kostenloses Modell laufen, waehrend Sie eine Szene aufbauen, und dann fuer den entscheidenden Moment auf ein staerkeres bezahltes Modell umschalten. Mit ueber 200 Modellen auf einem Schluessel koennen Sie das Modell zur Szene passen, statt sich mit dem zufriedenzugeben, was ein einzelner Anbieter bietet.

Haeufige Fehler und Loesungen

Wenn die Modellliste nicht laedt, pruefen Sie erneut, dass die Basis-URL auf /v1 endet und der Schluessel ohne ueberzaehlige Leerzeichen eingefuegt ist. Ein 401 bedeutet, der Schluessel ist falsch oder abgelaufen; kopieren Sie ihn erneut. Ein 404 auf ein Modell bedeutet, dass dieser Modellname nicht aus der geladenen Liste gewaehlt ist. Wenn Antworten abbrechen, erhoehen Sie die Antwortlaenge in den Einstellungen von SillyTavern. Die meisten Einrichtungsfehler sind eine vertippte Basis-URL oder ein Schluessel mit Leerzeichen, pruefen Sie also diese zuerst.

Das ist der ganze Trick

Jedes LLM mit SillyTavern zu verbinden laeuft auf einen OpenAI-kompatiblen Endpunkt plus einen Schluessel hinaus, und ein Gateway macht daraus viele Modelle hinter einer einzigen Einrichtung. UnoRouter gibt Ihnen diese Basis-URL, eine kostenlose Stufe zum Start und ueber 200 Modelle, zwischen denen Sie wechseln koennen, ohne etwas neu zu machen. Einmal einrichten und derselbe Schluessel folgt Ihnen ueber jedes RP-Frontend.

Bereit, SillyTavern zu verbinden? Kostenloses Konto erstellen oder Modelle ansehen.

Ähnliche Beiträge
So verbinden Sie jedes LLM mit SillyTavern | UnoRouter