איחדנו יותר מ-130 מודלי AI בחינם מכ-50 ספקים לנקודת קצה אחת

UnoRouter מאחד נתיבים חינמיים מכ-50 ספקים במעלה הזרם ליותר מ-130 מודלים עם רמה חינמית אמיתית מאחורי מפתח אחד. כל מודל חינמי מאפשר כ-1 בקשה לדקה למשתמש; פגיעה במגבלה מחזירה HTTP 429 עם כותרת Retry-After, ובריכות מרוקנות מחזירות שגיאת all providers busy מפורשת ומתאוששות אוטומטית. מודלים בתשלום מחויבים לפי שימוש מ-$1.

נוף ה-LLM החינמי קיים באמת, אבל הוא מפוזר: NVIDIA, Cloudflare, Gemini, Mistral, Z.ai, ModelScope ועשרות אחרים מציעים קיבולת אמיתית, מאחורי עשרות דפי הרשמה, פורמטים שונים של מפתחות וממשקי API לא תואמים. גילינו, בדקנו ומיזגנו כל ספק חינמי קבוע שמצאנו אל UnoRouter. התוצאה: יותר מ-130 מודלים חינמיים מכ-50 ספקים, מאחורי נקודת קצה אחת תואמת OpenAI ומפתח אחד.

מה הוספנו

כחמישים ספקים חינמיים, שנוספו אחד אחד: רמות חינם רשמיות כמו NVIDIA NIM, Cloudflare Workers AI, Gemini, Mistral, Z.ai ו-ModelScope, מארחי מודלים פתוחים וראוטרים, רשתות קהילתיות כמו Gonka ו-AI Horde, ומוצרי אינטרנט חינמיים שאנחנו מחברים דרך אדפטרים משלנו. אלה יותר מ-130 מודלים חינמיים: GLM, DeepSeek, Gemini, MiniMax, Qwen, gpt-oss, Nemotron, Llama ועוד, בנוסף למודלי תמונה ואודיו חינמיים. כל אחד נבדק מקצה לקצה עבור HTTP, סטרימינג וקריאות כלים לפני שעולה לאוויר, ואותן בדיקות אותנטיות שאנחנו מפעילים על מודלים בתשלום תופסות ספקים שמגישים מודל שונה ממה שהם טוענים.

חינמיים מסיבה טובה

המודלים האלה חינמיים באמת, ובדיוק בגלל זה יש להם מגבלות. כל ספק במעלה הזרם אוכף את שלו: בקשות לדקה, מכסות טוקנים יומיות, תקציבי נוירונים של Cloudflare, עדיפות בתור המתנדבים. כשמגיעים לתקרה, אותו ספק מחזיר 429 עד לאיפוס. מפתח חינמי שעבד הבוקר עלול להתרוקן עד אחר הצהריים. הדרג החינמי הוא תפוקה במיטב המאמץ, לא הבטחה. אם עומס העבודה שלך זקוק להשהיה צפויה ובלי 429 מפתיעים, השתמש במודל בתשלום.

מגבלת הקצב שלנו, ולמה היא קיימת

מעל לתקרות שבמעלה הזרם אנחנו מוסיפים מגבלה קטנה משלנו: בקשה אחת לדקה לכל מודל חינמי, לכל משתמש. זה מכוון. מודל חינמי בודד הוא לרוב מאגר משותף אחד במעלה הזרם, של אולי מיליון טוקנים ביום לכולם יחד, כך שבלי תקרה קומץ משתמשים כבדים היו מרוקנים אותו תוך דקות וכל השאר לא היו רואים דבר. בקשה אחת לדקה לכל מודל שומרת על המאגר חי ומפזרת אותו על פני כל הקהילה, ואתה יכול לפזר את התעבורה על פני המודלים החינמיים הרבים במקום להלום במודל אחד. כשאתה מגיע לתקרה שלנו אתה מקבל HTTP 429 עם כותרת Retry-After שמציינת בדיוק כמה זמן להמתין. זה נפרד מה-429 שבמעלה הזרם ומה-503 שלמטה. אם אתה רוצה תפוקה גבוהה יותר במודל מסוים, השתמש בדרג בתשלום שלו, שבו המגבלה אינה חלה.

למה בכלל לאגד אותם

כי החלופה היא חמישים חשבונות. לכל ספק יש הרשמה משלו, פורמט מפתח משלו, כתובת בסיס משלו וייחודיות משלו: חלקם מדברים ניב API משלהם, חלקם נושאים מזהה חשבון בכתובת ה-URL, חלקם קיימים רק כצ'אט אינטרנטי. ספגנו את כל זה כדי שתקרא להם כפי שאתה קורא לכל דבר אחר: נקודת קצה אחת תואמת OpenAI, מפתח אחד, שם מודל. מודלים חינמיים עולים לך $0 ואנחנו לא לוקחים עמלה עליהם; המודלים בתשלום הם מה שמחזיק את האורות דולקים.

איך אנחנו מרככים את המגבלות

רבים מהמודלים האלה מוגשים על ידי יותר מספק חינמי אחד. Llama 3.3 70B לבדו רץ אצל שבעה מהם. כשכמה ספקים מציעים את אותו מודל, אנחנו מאחדים אותם תחת שם מפורסם אחד ומבצעים מעבר אוטומטי: אם ספק במעלה הזרם מחזיר 429 או משתתק, הספק התקין הבא שמגיש את אותו מודל תופס את הבקשה. זה הידית היחידה שאנחנו באמת שולטים בה. אם ברגע נתון כל הספקים של מודל מוגבלים בקצב, הבקשה מחזירה HTTP 503 עם הודעה מפורשת "כל הספקים עסוקים" (לא 404, ולא "המודל לא נמצא"), והערוץ נבדק מחדש ומופעל מחדש תוך דקות על ידי ה-cron הבריאותי שלנו. כך מודל חינמי רב-מקורות ממשיך להשיב זמן רב אחרי שאחד מספקיו התרוקן. למודלים חינמיים בעלי מקור יחיד אין גיבוי, ולכן הם נתקעים כשהספק היחיד שלהם במעלה הזרם מתרוקן.

מאיפה המודלים החינמיים באמת מגיעים

לא כל מקור הוא API חינמי רשמי, ועדיף לנו לומר זאת במפורש מאשר לתת לכם להניח הנחות. חלק מהקטלוג החינמי מגיע מרמות החינם הציבוריות של ספקים. חלק מגיע מרשתות קהילתיות שמחלקות הסקה חינמית. חלק מגיע מצ'אטי אינטרנט חינמיים שאנחנו מתחברים אליהם דרך מתאמים משלנו, שאותם שירותים לא בנו לשימוש מסוג זה. אצל ספקים מסוימים אנחנו מפעילים יותר מחשבון אחד כדי לפזר את העומס. כשספק מבקש מאיתנו להפסיק, אנחנו מפסיקים: בספטמבר הסרנו מודל תוך שעות מהרגע שהבעלים פנה אלינו. אם העבודה שלכם דורשת מקור רשמי ויציב, השתמשו במודלים בתשלום או ב-API הישיר של הספק.

נסו את זה

כל יותר מ-130 המודלים החינמיים פועלים מאחורי נקודת קצה אחת תואמת OpenAI. קבל מפתח API או עיין בקטלוג המודלים וסנן לפי חינמי. רק זכור באיזו רמה אתה כשמופיע 429 או 503.