2025 के अधिकांश समय में, ओपन-वेट भाषा मॉडल की सीमा को सिलिकॉन वैली या न्यूयॉर्क शहर में नहीं, बल्कि बीजिंग और हांग्जो में परिभाषित किया गया है।
अलीबाबा की क्वेन, डीपसीक, मूनशॉट और Baidu सहित चीनी अनुसंधान प्रयोगशालाओं ने बड़े पैमाने पर, ओपन मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल विकसित करने में तेजी से गति निर्धारित की है – अक्सर अनुमेय लाइसेंस और अग्रणी बेंचमार्क प्रदर्शन के साथ। जबकि OpenAI ने इस गर्मी में अपना स्वयं का खुला स्रोत, सामान्य प्रयोजन एलएलएम – gpt-oss-20B और 120B – पेश किया है – समान रूप से या बेहतर प्रदर्शन करने वाले कई विकल्पों के कारण इसकी गति धीमी हो गई है।
अब, एक छोटी अमेरिकी कंपनी पीछे हट रही है।
आज, आर्सी एआई ने ट्रिनिटी मिनी और ट्रिनिटी नैनो प्रीव्यू जारी करने की घोषणा की, जो इसके नए “ट्रिनिटी” परिवार के पहले दो मॉडल हैं – एक ओपन-वेट एमओई मॉडल सूट जो पूरी तरह से संयुक्त राज्य अमेरिका में प्रशिक्षित है।
उपयोगकर्ता एक्री की नई वेबसाइट, चैट.arcee.ai पर चैटबॉट प्रारूप में सीधे अपने लिए पूर्व को आज़मा सकते हैं, और डेवलपर्स हगिंग फेस पर दोनों मॉडलों के लिए कोड डाउनलोड कर सकते हैं और इसे स्वयं चला सकते हैं, साथ ही उन्हें संशोधित भी कर सकते हैं।/फ़ाइन ट्यून उनकी पसंद के अनुसार – उद्यम-अनुकूल अपाचे 2.0 लाइसेंस के तहत सब कुछ निःशुल्क।
सबसे बड़े फ्रंटियर मॉडल की तुलना में छोटे होते हुए भी, ये रिलीज़ अमेरिकी स्टार्टअप द्वारा यूएस-क्यूरेटेड डेटासेट पाइपलाइन का उपयोग करके अमेरिकी बुनियादी ढांचे पर बड़े पैमाने पर एंड-टू-एंड ओपन-वेट मॉडल बनाने के एक दुर्लभ प्रयास का प्रतिनिधित्व करते हैं।
"मैं अपनी टीम पर अत्यधिक गर्व और अत्यधिक थकावट के संयोजन का अनुभव कर रहा हूं, इसलिए मैं शब्दों में यह बताने के लिए संघर्ष कर रहा हूं कि मैं इन मॉडलों को सामने लाने के लिए कितना उत्साहित हूं," आर्सी के मुख्य प्रौद्योगिकी अधिकारी (सीटीओ) लुकास एटकिंस ने सोशल नेटवर्क एक्स (पूर्व में ट्विटर) पर एक पोस्ट में लिखा। "खासकर मिनी."
एक तीसरा मॉडल, ट्रिनिटी लार्ज, पहले से ही प्रशिक्षण में है: एक 420B पैरामीटर मॉडल, प्रति टोकन 13B सक्रिय पैरामीटर के साथ, जनवरी 2026 में लॉन्च होने वाला है।
“हम कुछ ऐसा जोड़ना चाहते हैं जो उस तस्वीर में गायब है,” एटकिंस ने आर्सी की वेबसाइट पर प्रकाशित ट्रिनिटी लॉन्च घोषणापत्र में लिखा है। “अमेरिका में शुरू से अंत तक प्रशिक्षित एक गंभीर ओपन वेट मॉडल परिवार… जिसे व्यवसाय और डेवलपर्स वास्तव में अपना सकते हैं।”
छोटे मॉडल से लेकर बड़ी महत्वाकांक्षा तक
ट्रिनिटी परियोजना आर्सी एआई के लिए एक महत्वपूर्ण मोड़ है, जो अब तक अपने कॉम्पैक्ट, उद्यम-केंद्रित मॉडल के लिए जाना जाता है। कंपनी ने अब तक 29.5 मिलियन डॉलर की फंडिंग जुटाई है, जिसमें इमर्जेंस कैपिटल के नेतृत्व में 2024 में 24 मिलियन डॉलर की सीरीज ए शामिल है, और इसके पिछले रिलीज में एएफएम-4.5बी, 2025 के मध्य में जारी एक कॉम्पैक्ट इंस्ट्रक्शन-ट्यून मॉडल और सुपरनोवा, एक पूर्व 70बी-पैरामीटर इंस्ट्रक्शन-फॉलोइंग मॉडल शामिल है, जो इन-वीपीसी एंटरप्राइज परिनियोजन के लिए डिज़ाइन किया गया है।
दोनों का उद्देश्य उद्यम में मालिकाना एलएलएम अपनाने में आ रही विनियामक और लागत संबंधी समस्याओं को हल करना था।
ट्रिनिटी के साथ, आर्सी उच्च लक्ष्य रख रहा है: न केवल निर्देश ट्यूनिंग या पोस्ट-ट्रेनिंग, बल्कि ओपन-वेट फाउंडेशन मॉडल का पूर्ण-स्टैक प्रीट्रेनिंग – लंबे संदर्भ तर्क, सिंथेटिक डेटा अनुकूलन और लाइव रिट्रेनिंग सिस्टम के साथ भविष्य के एकीकरण के लिए बनाया गया है।
मूल रूप से ट्रिनिटी लार्ज के लिए एक कदम के रूप में कल्पना की गई, मिनी और नैनो दोनों विरल मॉडलिंग के शुरुआती प्रयोग से उभरे और जल्दी ही खुद उत्पादन लक्ष्य बन गए।
तकनीकी मुख्य बातें
ट्रिनिटी मिनी एक 26बी पैरामीटर मॉडल है जिसमें प्रति टोकन 3बी सक्रिय है, जिसे उच्च-थ्रूपुट तर्क, फ़ंक्शन कॉलिंग और टूल उपयोग के लिए डिज़ाइन किया गया है। ट्रिनिटी नैनो प्रीव्यू एक 6B पैरामीटर मॉडल है जिसमें लगभग 800M सक्रिय गैर-एम्बेडिंग पैरामीटर हैं – एक मजबूत व्यक्तित्व के साथ एक अधिक प्रयोगात्मक, चैट-केंद्रित मॉडल, लेकिन कम तर्क शक्ति।
दोनों मॉडल आर्सी के नए अटेंशन-फर्स्ट मिक्सचर-ऑफ-एक्सपर्ट्स (एएफएमओई) आर्किटेक्चर का उपयोग करते हैं, जो एक कस्टम एमओई डिज़ाइन है जो वैश्विक विरलता, स्थानीय/वैश्विक ध्यान और गेटेड ध्यान तकनीकों का मिश्रण है।
डीपसीक और क्वेन की हालिया प्रगति से प्रेरित होकर, एएफएमओई एक उन्नत ध्यान स्टैक के साथ विरल विशेषज्ञ रूटिंग को मजबूती से एकीकृत करके पारंपरिक एमओई से अलग हो गया है – जिसमें समूहीकृत-क्वेरी ध्यान, गेटेड ध्यान और एक स्थानीय/वैश्विक पैटर्न शामिल है जो लंबे-संदर्भ तर्क में सुधार करता है।
128 विशिष्ट एजेंटों (जिन्हें “विशेषज्ञ” कहा जाता है) वाले कॉल सेंटर जैसे एक विशिष्ट MoE मॉडल के बारे में सोचें – लेकिन प्रश्न के आधार पर, प्रत्येक कॉल के लिए केवल कुछ से ही सलाह ली जाती है। इससे समय और ऊर्जा की बचत होती है, क्योंकि हर विशेषज्ञ को इस पर विचार करने की आवश्यकता नहीं होती है।
AFMoE को जो चीज़ अलग बनाती है वह यह है कि यह कैसे तय करता है कि किन एजेंटों को कॉल करना है और यह उनके उत्तरों को कैसे मिश्रित करता है। अधिकांश MoE मॉडल एक मानक दृष्टिकोण का उपयोग करते हैं जो एक साधारण रैंकिंग के आधार पर विशेषज्ञों को चुनता है।
इसके विपरीत, एएफएमओई एक आसान विधि (जिसे सिग्मॉइड रूटिंग कहा जाता है) का उपयोग करता है जो स्विच को फ़्लिप करने की तुलना में वॉल्यूम डायल को समायोजित करने जैसा है – जिससे मॉडल कई परिप्रेक्ष्यों को अधिक सुंदर ढंग से मिश्रित कर सकता है।
“ध्यान-प्रथम” भाग का अर्थ है कि मॉडल इस बात पर बहुत अधिक ध्यान केंद्रित करता है कि वह बातचीत के विभिन्न हिस्सों पर कैसे ध्यान देता है। एक उपन्यास पढ़ने और महत्व, नवीनता या भावनात्मक प्रभाव के आधार पर कुछ हिस्सों को दूसरों की तुलना में अधिक स्पष्ट रूप से याद करने की कल्पना करें – यही ध्यान है। AFMoE स्थानीय ध्यान (अभी जो कहा गया था उस पर ध्यान केंद्रित करना) को वैश्विक ध्यान (पहले के मुख्य बिंदुओं को याद रखना) के साथ जोड़कर, एक लय का उपयोग करके इसे बेहतर बनाता है जो चीजों को संतुलित रखता है।
अंत में, AFMoE ने गेटेड अटेंशन नामक कुछ चीज़ पेश की है, जो प्रत्येक अटेंशन आउटपुट पर वॉल्यूम नियंत्रण की तरह काम करता है – मॉडल को आवश्यकतानुसार जानकारी के विभिन्न टुकड़ों पर जोर देने या कम करने में मदद करता है, जैसे कि यह समायोजित करना कि आप समूह चर्चा में प्रत्येक आवाज़ की कितनी परवाह करते हैं।
यह सब प्रशिक्षण के दौरान मॉडल को अधिक स्थिर और पैमाने पर अधिक कुशल बनाने के लिए डिज़ाइन किया गया है – ताकि यह लंबी बातचीत को समझ सके, अधिक स्पष्ट रूप से तर्क कर सके, और बड़े पैमाने पर कंप्यूटिंग संसाधनों की आवश्यकता के बिना तेजी से चल सके।
कई मौजूदा MoE कार्यान्वयनों के विपरीत, AFMoE सहायक हानि के बिना सिग्मॉइड-आधारित रूटिंग और विचलन के बिना स्केलिंग का समर्थन करने के लिए गहराई-स्केल सामान्यीकरण जैसी तकनीकों का उपयोग करके गहराई और प्रशिक्षण दक्षता पर स्थिरता पर जोर देता है।
मॉडल क्षमताएँ
ट्रिनिटी मिनी 128 विशेषज्ञों, प्रति टोकन 8 सक्रिय और 1 हमेशा सक्रिय रहने वाले साझा विशेषज्ञ के साथ एक MoE आर्किटेक्चर को अपनाता है। प्रदाता के आधार पर, संदर्भ विंडो 131,072 टोकन तक पहुंचती है।
बेंचमार्क दिखाते हैं कि ट्रिनिटी मिनी तर्कपूर्ण कार्यों में बड़े मॉडलों के साथ प्रतिस्पर्धात्मक रूप से प्रदर्शन कर रहा है, जिसमें सिंपलक्यूए बेंचमार्क पर जीपीटी-ओएसएस से बेहतर प्रदर्शन करना (तथ्यात्मक रिकॉल का परीक्षण करना और क्या मॉडल अनिश्चितता को स्वीकार करता है), एमएमएलयू (शून्य शॉट, बिना उदाहरण के कई विषयों में व्यापक शैक्षणिक ज्ञान और तर्क को मापना), और बीएफसीएल वी3 (मल्टी-स्टेप फ़ंक्शन कॉलिंग और वास्तविक दुनिया टूल के उपयोग का मूल्यांकन करता है):
- एमएमएलयू (शून्य-शॉट): 84.95
-
गणित-500: 92.10
-
जीपीक्यूए-डायमंड: 58.55
-
बीएफसीएल वी3: 59.67
टुगेदर और क्लेरीफाई जैसे प्रदाताओं में विलंबता और थ्रूपुट संख्या उप-तीन-सेकंड ई2ई विलंबता के साथ 200+ टोकन प्रति सेकंड थ्रूपुट दिखाती है – जो ट्रिनिटी मिनी को इंटरैक्टिव अनुप्रयोगों और एजेंट पाइपलाइनों के लिए व्यवहार्य बनाती है।
ट्रिनिटी नैनो, हालांकि छोटी है और किनारे के मामलों में उतनी स्थिर नहीं है, प्रति टोकन 1B से कम सक्रिय मापदंडों पर विरल MoE आर्किटेक्चर व्यवहार्यता प्रदर्शित करती है।
पहुंच, मूल्य निर्धारण और पारिस्थितिकी तंत्र एकीकरण
दोनों ट्रिनिटी मॉडल अनुमेय, उद्यम-अनुकूल, के तहत जारी किए गए हैं। अपाचे 2.0 लाइसेंसअप्रतिबंधित वाणिज्यिक और अनुसंधान उपयोग की अनुमति। ट्रिनिटी मिनी इसके माध्यम से उपलब्ध है:
- आलिंगन करता हुआ चेहरा
-
ओपनराउटर
-
चैट.arcee.ai
ओपनराउटर के माध्यम से ट्रिनिटी मिनी के लिए एपीआई मूल्य निर्धारण:
- $0.045 प्रति मिलियन इनपुट टोकन
-
$0.15 प्रति मिलियन आउटपुट टोकन
-
ओपनराउटर पर सीमित समय के लिए एक निःशुल्क टियर उपलब्ध है
मॉडल पहले से ही बेंचेबल.एआई, ओपन वेबयूआई और सिलीटैवर्न सहित ऐप्स में एकीकृत है। यह हगिंग फेस ट्रांसफॉर्मर्स, वीएलएलएम, एलएम स्टूडियो और llama.cpp में समर्थित है।
समझौता किए बिना डेटा: डेटाोलॉजीएआई की भूमिका
अर्सी के दृष्टिकोण के केंद्र में प्रशिक्षण डेटा पर नियंत्रण है – वेब-स्क्रेप्ड या कानूनी रूप से अस्पष्ट डेटासेट पर प्रशिक्षित कई खुले मॉडल के विपरीत। यहीं पर पूर्व मेटा और डीपमाइंड शोधकर्ता एरी मोरकोस द्वारा सह-स्थापित डेटा क्यूरेशन स्टार्टअप डेटोलॉजीएआई एक महत्वपूर्ण भूमिका निभाता है।
DatologyAI का प्लेटफ़ॉर्म सभी तौर-तरीकों में डेटा फ़िल्टरिंग, डिडुप्लीकेशन और गुणवत्ता में वृद्धि को स्वचालित करता है, जिससे यह सुनिश्चित होता है कि Arcee का प्रशिक्षण कोष शोर, पक्षपातपूर्ण या कॉपीराइट-जोखिम सामग्री के नुकसान से बचा जाता है।
ट्रिनिटी के लिए, डेटोलॉजीएआई ने तीन चरणों में आयोजित 10 ट्रिलियन टोकन पाठ्यक्रम बनाने में मदद की: 7T सामान्य डेटा, 1.8T उच्च-गुणवत्ता वाला पाठ, और गणित और कोड सहित 1.2T STEM-भारी सामग्री।
यह वही साझेदारी है जिसने आर्सी के एएफएम-4.5बी को संचालित किया – लेकिन आकार और जटिलता दोनों में महत्वपूर्ण रूप से बढ़ाया गया। आर्सी के अनुसार, यह डेटोलॉजी के फ़िल्टरिंग और डेटा-रैंकिंग उपकरण थे जिन्होंने गणित, क्यूए और एजेंट टूल के उपयोग जैसे कार्यों पर प्रदर्शन में सुधार करते हुए ट्रिनिटी को स्पष्ट रूप से स्केल करने की अनुमति दी।
डेटाोलॉजी का योगदान सिंथेटिक डेटा उत्पादन में भी फैला हुआ है। ट्रिनिटी लार्ज के लिए, कंपनी ने 10 ट्रिलियन से अधिक सिंथेटिक टोकन का उत्पादन किया है – जिसे 10T क्यूरेटेड वेब टोकन के साथ जोड़ा गया है – ताकि अब पूर्ण पैमाने पर चल रहे मॉडल के लिए 20T-टोकन प्रशिक्षण कोष बनाया जा सके।
प्रतिस्पर्धा के लिए बुनियादी ढांचे का निर्माण: प्राइम इंटेलेक्ट
अमेरिका में पूर्ण पैमाने पर प्रशिक्षण निष्पादित करने की अर्सी की क्षमता उसके बुनियादी ढांचे के भागीदार, प्राइम इंटेलेक्ट के कारण भी है। 2024 की शुरुआत में स्थापित स्टार्टअप, विकेंद्रीकृत जीपीयू बाज़ार और प्रशिक्षण स्टैक का निर्माण करके एआई कंप्यूट तक पहुंच को लोकतांत्रिक बनाने के मिशन के साथ शुरू हुआ।
जबकि प्राइम इंटेलेक्ट ने INTELLECT-1 के अपने वितरित प्रशिक्षण के साथ सुर्खियां बटोरीं – एक 10B पैरामीटर मॉडल जिसे पांच देशों में योगदानकर्ताओं के बीच प्रशिक्षित किया गया है – इसका हालिया काम, जिसमें 106B INTELLECT-3 भी शामिल है, पैमाने के ट्रेडऑफ़ को स्वीकार करता है: वितरित प्रशिक्षण कार्य, लेकिन 100B+ मॉडल के लिए, केंद्रीकृत बुनियादी ढांचा अभी भी अधिक कुशल है।
ट्रिनिटी मिनी और नैनो के लिए, प्राइम इंटेलेक्ट ने ऑर्केस्ट्रेशन स्टैक, संशोधित टॉर्चटाइटन रनटाइम और भौतिक कंप्यूट वातावरण की आपूर्ति की: एक कस्टम bf16 पाइपलाइन में 512 H200 GPU, उच्च दक्षता वाले HSDP समानांतरवाद को चलाते हुए। यह ट्रिनिटी लार्ज को प्रशिक्षित करने के लिए उपयोग किए जाने वाले 2048 B300 GPU क्लस्टर की भी मेजबानी कर रहा है।
सहयोग ब्रांडिंग और निष्पादन के बीच अंतर दिखाता है। जबकि प्राइम इंटेलेक्ट का दीर्घकालिक लक्ष्य विकेंद्रीकृत गणना बना हुआ है, आर्सी के लिए इसका अल्पकालिक मूल्य कुशल, पारदर्शी प्रशिक्षण बुनियादी ढांचे में निहित है – बुनियादी ढांचा जो अमेरिकी अधिकार क्षेत्र में रहता है, ज्ञात उत्पत्ति और सुरक्षा नियंत्रण के साथ।
मॉडल संप्रभुता पर एक रणनीतिक दांव
पूर्ण प्रीट्रेनिंग में आर्सी का जोर एक व्यापक थीसिस को दर्शाता है: एंटरप्राइज़ एआई का भविष्य प्रशिक्षण लूप के मालिक होने पर निर्भर करेगा – न कि केवल फाइन-ट्यूनिंग पर। जैसे-जैसे सिस्टम लाइव उपयोग से अनुकूलित होने और उपकरणों के साथ स्वायत्त रूप से बातचीत करने के लिए विकसित होते हैं, प्रशिक्षण उद्देश्यों पर अनुपालन और नियंत्रण उतना ही मायने रखेगा जितना कि प्रदर्शन।
“जैसे-जैसे एप्लिकेशन अधिक महत्वाकांक्षी होते जाते हैं, ‘मॉडल’ और ‘उत्पाद’ के बीच की सीमा बढ़ती रहती है,” एटकिंस ने आर्सी के ट्रिनिटी घोषणापत्र में उल्लेख किया है। “उस तरह का सॉफ़्टवेयर बनाने के लिए आपको केवल निर्देश परत ही नहीं, बल्कि वज़न और प्रशिक्षण पाइपलाइन को भी नियंत्रित करने की आवश्यकता है।”
यह फ़्रेमिंग ट्रिनिटी को अन्य ओपन-वेट प्रयासों से अलग करती है। किसी और के बेस मॉडल को पैच करने के बजाय, आर्सी ने अपना खुद का निर्माण किया है – डेटा से लेकर तैनाती तक, बुनियादी ढांचे से लेकर ऑप्टिमाइज़र तक – उन साझेदारों के साथ जो खुलेपन और संप्रभुता के दृष्टिकोण को साझा करते हैं।
आगे की ओर देखना: ट्रिनिटी लार्ज
वर्तमान में ट्रिनिटी लार्ज, आर्सी के 420बी पैरामीटर एमओई मॉडल के लिए प्रशिक्षण चल रहा है, जिसमें बड़े विशेषज्ञ सेट के लिए समान एफ़मो आर्किटेक्चर का उपयोग किया गया है।
डेटासेट में 20T टोकन शामिल हैं, जो डेटोलॉजीएआई के सिंथेटिक डेटा और क्यूरेटेड डब्ल्यूबी डेटा के बीच समान रूप से विभाजित हैं।
इस मॉडल के अगले महीने जनवरी 2026 में लॉन्च होने की उम्मीद है, इसके तुरंत बाद पूरी तकनीकी रिपोर्ट आएगी।
सफल होने पर, यह ट्रिनिटी लार्ज को एकमात्र पूरी तरह से ओपन-वेट, यूएस-प्रशिक्षित फ्रंटियर-स्केल मॉडल में से एक बना देगा – आर्सी को खुले पारिस्थितिकी तंत्र में एक गंभीर खिलाड़ी के रूप में ऐसे समय में स्थापित करेगा जब अधिकांश अमेरिकी एलएलएम प्रयास या तो बंद हैं या गैर-यूएस नींव पर आधारित हैं।
यूएस ओपन सोर्स के प्रति एक पुनः प्रतिबद्धता
ऐसे परिदृश्य में जहां सबसे महत्वाकांक्षी ओपन-वेट मॉडल चीनी अनुसंधान प्रयोगशालाओं द्वारा तेजी से आकार ले रहे हैं, आर्सी का ट्रिनिटी लॉन्च दिशा में एक दुर्लभ बदलाव का संकेत देता है: पारदर्शी, यूएस-नियंत्रित मॉडल विकास के लिए जमीन को पुनः प्राप्त करने का प्रयास।
डेटा और बुनियादी ढांचे में विशेष साझेदारों द्वारा समर्थित, और दीर्घकालिक अनुकूलनशीलता के लिए खरोंच से निर्मित, ट्रिनिटी अमेरिकी एआई विकास के भविष्य के बारे में एक साहसिक बयान है, जो दर्शाता है कि छोटी, कम-ज्ञात कंपनियां अभी भी सीमाओं को पार कर सकती हैं और खुले फैशन में नवाचार कर सकती हैं, भले ही उद्योग तेजी से उत्पादीकृत और कमोडिटीकृत हो।
देखने वाली बात यह है कि क्या ट्रिनिटी लार्ज अपने बेहतर वित्त पोषित प्रतिस्पर्धियों की क्षमताओं से मेल खा सकता है। लेकिन मिनी और नैनो पहले से ही उपयोग में हैं, और एक मजबूत वास्तुशिल्प नींव के साथ, आर्सी पहले से ही अपनी केंद्रीय थीसिस साबित कर रही है: मॉडल संप्रभुता, न कि केवल मॉडल आकार, एआई के अगले युग को परिभाषित करेगी।
<a href