Pamięć i kontekst
Spójność długich historii poza oknem kontekstu.
Przy włączonej pamięci najstarszy fragment długiego czatu zwija się do bieżącego streszczenia i opuszcza prompt. Zużycie tokenów zostaje płaskie, mimo że historia rośnie.
Streszczanie działa w tle na szybkich darmowych modelach, więc czatujesz dalej. Bieżące streszczenie jedzie razem z żądaniem w bloku systemowym.
Ostatni fragment czatu jest osadzany i porównywany ze starszymi wiadomościami oraz kandydatami z wiedzy o świecie. Najbliższe dopasowania są wstrzykiwane jako tło, więc stare szczegóły wracają, gdy są istotne.
Włączane osobno dla każdej rozmowy. Mały klasyfikator decyduje, czy twoja wiadomość wymaga świeżych faktów. Dopiero wtedy uruchamia się prawdziwe wyszukiwanie i dołącza do kontekstu.
Silnik i rozmiar kontekstu konfigurujesz w panelu ustawień. Wyszukiwanie w sieci jest dostępne na kontach płatnych.
Pamięć i wyszukiwanie w sieci to przełączniki ustawiane osobno dla każdej rozmowy w szufladzie ustawień. Presety niosą wartości domyślne dla nowych czatów. Ustawienie modelu pomocniczego wybiera, który model wykonuje pracę w tle.