हमने लगभग 50 प्रोवाइडर्स के 130+ फ्री AI मॉडल्स को एक ही एंडपॉइंट में जोड़ा

UnoRouter लगभग 50 अपस्ट्रीम प्रोवाइडर्स की फ्री लेन्स को 130 से ज़्यादा मॉडल्स में एग्रीगेट करता है, जिसमें एक key के पीछे एक जेन्युइन फ्री टियर है। हर फ्री मॉडल प्रति यूज़र लगभग 1 request per minute की अनुमति देता है; कैप हिट होने पर Retry-After हेडर के साथ HTTP 429 मिलता है, और ड्रेन्ड पूल्स एक साफ all providers busy एरर देते हैं और अपने आप रिकवर हो जाते हैं। पेड मॉडल्स $1 से pay as you go पर बिल होते हैं।

फ्री LLM की दुनिया असली है, बस बिखरी हुई है: NVIDIA, Cloudflare, Gemini, Mistral, Z.ai, ModelScope और दर्जनों अन्य प्रोवाइडर्स सच में फ्री कैपेसिटी देते हैं, लेकिन दर्जनों अलग-अलग साइनअप पेजेज़, की फॉर्मेट्स और इनकम्पैटिबल APIs के पीछे। हमने हर परमानेंट-फ्री प्रोवाइडर को ढूंढा, टेस्ट किया और UnoRouter में मर्ज कर दिया। नतीजा: एक OpenAI-compatible एंडपॉइंट और एक key के पीछे लगभग 50 प्रोवाइडर्स के 130+ फ्री मॉडल्स।

हमने क्या जोड़ा

लगभग पचास फ्री प्रोवाइडर्स, एक-एक करके जोड़े गए: ऑफिशियल फ्री टियर्स जैसे NVIDIA NIM, Cloudflare Workers AI, Gemini, Mistral, Z.ai और ModelScope; ओपन-मॉडल होस्ट्स और राउटर्स; Gonka और AI Horde जैसे कम्युनिटी नेटवर्क्स; और फ्री वेब प्रोडक्ट्स जिन्हें हम अपने खुद के एडेप्टर्स से कनेक्ट करते हैं। यानी 130+ फ्री मॉडल्स: GLM, DeepSeek, Gemini, MiniMax, Qwen, gpt-oss, Nemotron, Llama और भी बहुत कुछ, साथ ही फ्री इमेज और ऑडियो मॉडल्स। हर मॉडल को लाइव करने से पहले HTTP, स्ट्रीमिंग और टूल कॉल्स के लिए एंड-टू-एंड प्रोब किया जाता है, और पेड मॉडल्स पर चलने वाले ऑथेंटिसिटी चेक्स उन प्रोवाइडर्स को भी पकड़ लेते हैं जो क्लेम किए गए मॉडल से अलग मॉडल सर्व करते हैं।

मुफ्त होने की एक वजह है

ये मॉडल सचमुच मुफ़्त हैं, और ठीक इसीलिए इनकी सीमाएँ हैं। हर अपस्ट्रीम अपनी सीमाएँ लागू करता है: प्रति मिनट अनुरोध, दैनिक टोकन कोटा, Cloudflare न्यूरॉन बजट, स्वयंसेवी कतार में प्राथमिकता। सीमा पर पहुँचते ही वह प्रदाता रीसेट होने तक 429 लौटाता है। जो मुफ़्त कुंजी आज सुबह काम कर रही थी, वह दोपहर तक चुक सकती है। मुफ़्त स्तर सर्वोत्तम-प्रयास थ्रूपुट है, कोई गारंटी नहीं। यदि आपके वर्कलोड को पूर्वानुमेय लेटेंसी और कोई अप्रत्याशित 429 नहीं चाहिए, तो भुगतान वाला मॉडल इस्तेमाल करें।

हमारी अपनी दर सीमा, और वह क्यों है

अपस्ट्रीम सीमाओं के ऊपर हम अपनी एक छोटी सीमा जोड़ते हैं: प्रति उपयोगकर्ता, प्रति मुफ़्त मॉडल, प्रति मिनट एक अनुरोध। यह जानबूझकर है। एक अकेला मुफ़्त मॉडल अक्सर एक ही साझा अपस्ट्रीम पूल होता है, जिसमें शायद सबके मिलाकर रोज़ाना दस लाख टोकन होते हैं, इसलिए बिना सीमा के मुट्ठीभर भारी उपयोगकर्ता उसे मिनटों में सोख लेते और बाकी सबको कुछ न मिलता। प्रति मॉडल प्रति मिनट एक अनुरोध पूल को जीवित रखता है और पूरे समुदाय में फैला देता है, और आप एक ही मॉडल पर हथौड़ा चलाने के बजाय ट्रैफ़िक को कई मुफ़्त मॉडलों में बाँट सकते हैं। जब आप हमारी सीमा पर पहुँचते हैं, तो आपको एक HTTP 429 मिलता है, साथ में एक Retry-After हेडर जो ठीक-ठीक बताता है कि कितनी देर रुकना है। यह अपस्ट्रीम 429 से और नीचे दिए 503 से अलग है। यदि आपको किसी विशेष मॉडल पर अधिक थ्रूपुट चाहिए, तो उसका भुगतान वाला स्तर इस्तेमाल करें, जहाँ यह सीमा लागू नहीं होती।

इन्हें एक जगह जोड़ने की वजह ही क्या है

क्योंकि दूसरा विकल्प पचास अलग-अलग अकाउंट्स बनाना है। हर प्रोवाइडर का अपना साइनअप है, अपना key फॉर्मेट है, अपना बेस URL है, और अपनी खुद की खासियतें हैं: कुछ अपनी API डायलेक्ट बोलते हैं, कुछ URL में अकाउंट id रखते हैं, कुछ सिर्फ वेब चैट के रूप में मौजूद हैं। हमने यह सब अपने अंदर समेट लिया ताकि आप उन्हें वैसे ही कॉल करें जैसे बाकी सब को करते हैं: एक OpenAI-compatible एंडपॉइंट, एक key, एक मॉडल नेम। फ्री मॉडल्स पर आपका खर्च $0 है और हम उन पर कोई कट नहीं लेते; पेड मॉडल्स ही वो हैं जो सब कुछ चलाते रहते हैं।

हम सीमाओं को कैसे नरम करते हैं

इनमें से कई मॉडल एक से अधिक मुफ़्त प्रदाता द्वारा परोसे जाते हैं। अकेला Llama 3.3 70B इनमें से सात पर चलता है। जब कई प्रदाता एक ही मॉडल देते हैं, तो हम उन्हें एक प्रकाशित नाम में समेट देते हैं और अपने आप फ़ेलओवर करते हैं: यदि कोई अपस्ट्रीम 429 लौटाता है या चुप हो जाता है, तो उस मॉडल को परोसने वाला अगला स्वस्थ प्रदाता अनुरोध सँभाल लेता है। यही एकमात्र लीवर है जिस पर सचमुच हमारा नियंत्रण है। यदि किसी क्षण किसी मॉडल के सभी प्रदाता दर-सीमित हों, तो अनुरोध एक HTTP 503 लौटाता है, जिसमें एक स्पष्ट "सभी प्रदाता व्यस्त हैं" संदेश होता है (न कोई 404, न "मॉडल नहीं मिला"), और हमारा हेल्थ क्रॉन मिनटों के भीतर चैनल को दोबारा जाँचकर फिर से चालू कर देता है। इसलिए एक बहु-स्रोत मुफ़्त मॉडल अपने किसी भी प्रदाता के चुक जाने के बहुत बाद तक जवाब देता रहता है। एकल-स्रोत मुफ़्त मॉडल के पास कोई विकल्प नहीं होता, इसलिए उनका इकलौता अपस्ट्रीम खत्म होते ही वे ठप हो जाते हैं।

फ्री मॉडल असल में कहां से आते हैं

हर सोर्स कोई आधिकारिक फ्री API नहीं है, और हम यह साफ बताना चाहते हैं बजाय इसके कि आप खुद अंदाजा लगाते रहें। फ्री कैटलॉग का एक हिस्सा प्रोवाइडर्स के पब्लिक फ्री टियर से आता है। एक हिस्सा कम्युनिटी नेटवर्क्स से आता है जो फ्री इन्फरेंस देते हैं। एक हिस्सा उन फ्री वेब चैट्स से आता है जिनसे हम अपने खुद के एडेप्टर्स के जरिए जुड़ते हैं, जो उन सर्विसेज ने इस तरह के इस्तेमाल के लिए नहीं बनाए थे। कुछ प्रोवाइडर्स पर हम लोड बांटने के लिए एक से ज्यादा अकाउंट चलाते हैं। जब कोई प्रोवाइडर हमें रोकने के लिए कहता है, हम रुक जाते हैं: सितंबर में हमने एक मॉडल को उसके मालिक के संपर्क करने के कुछ घंटों के भीतर हटा दिया। अगर आपके काम के लिए ऐसे सोर्स की जरूरत है जो आधिकारिक और स्थिर हो, तो पेड मॉडल या प्रोवाइडर की अपनी API इस्तेमाल करें।

इसे आज़माएँ

सभी 130+ फ्री मॉडल्स एक OpenAI-compatible एंडपॉइंट के पीछे लाइव हैं। API key लें या मॉडल कैटलॉग ब्राउज़ करें और फ्री के लिए फ़िल्टर करें। बस यह याद रखें कि आप किस टियर पर हैं जब 429 या 503 दिखे।