Liquid AI ने LFM2.5-350M जारी किया है, 350 मिलियन पैरामीटर वाला एक मॉडल, जो शुद्ध Transformer आर्किटेक्चर छोड़कर एक हाइब्रिड तरीका अपनाकर अपने से दोगुने आकार वाले मॉडल्स को पीछे छोड़ देता है। यह मॉडल 10 Double-Gated Linear Input-Varying Systems (LIV) ब्लॉक्स को 6 Grouped Query Attention ब्लॉक्स के साथ जोड़ता है, जिससे 32k कॉन्टेक्स्ट विंडो मुमकिन होती है, जबकि मेमोरी इस्तेमाल स्थिर बना रहता है, न कि उस quadratic स्केलिंग की तरह जो स्टैंडर्ड Transformers को परेशान करती है। 28 ट्रिलियन टोकन पर ट्रेन किया गया, यानी एक असाधारण रूप से ऊंचा ट्रेनिंग-टू-पैरामीटर अनुपात, यह IFEval इंस्ट्रक्शन फॉलोइंग बेंचमार्क पर 76.96 स्कोर करता है।
यह रिलीज़ इसलिए मायने रखती है क्योंकि यह सीधे उस "बड़ा हमेशा बेहतर होता है" वाले स्केलिंग नियम को चुनौती देती है, जिसका दबदबा AI डेवलपमेंट पर रहा है। जहां बाकी सब सैकड़ों अरब पैरामीटर वाले फ्रंटियर मॉडल्स के पीछे भाग रहे हैं, वहीं Liquid AI यह साबित कर रहा है कि आर्किटेक्चरल नवाचार बेहतर इंटेलिजेंस डेंसिटी दे सकता है। हाइब्रिड LIV तरीका उस KV कैश मेमोरी अड़चन को सुलझाता है, जो बड़ी कॉन्टेक्स्ट विंडो को महंगा बनाती है, और यह इस बात को बदल सकता है कि हम edge पर AI डिप्लॉय करने के बारे में कैसे सोचते हैं, जहां मेमोरी और कंप्यूट सीमित होते हैं।
गौर करने वाली बात यह है कि Liquid AI साफ तौर पर क्या दावा नहीं करता, वे खुलकर मानते हैं कि LFM2.5-350M गणित, जटिल कोडिंग, या क्रिएटिव राइटिंग में अच्छा नहीं है। यह ईमानदार पोज़िशनिंग सामान्य मॉडल रिलीज़ के प्रचार चक्र से अलग है। यह मॉडल खास यूज़ केस को टारगेट करता है: tool calling, function execution, और संरचित डेटा निष्कर्षण, जहां सामान्य रीज़निंग क्षमता से ज़्यादा इंस्ट्रक्शन फॉलोइंग मायने रखती है।
प्रोडक्शन AI एप्लिकेशन बना रहे डेवलपर्स के लिए, यह खास वर्कफ़्लो के लिए महंगे बड़े मॉडल्स का एक व्यावहारिक विकल्प पेश करता है। अगर आप JSON निष्कर्षण, API कॉल्स, या संरचित डेटा प्रोसेसिंग कर रहे हैं, तो 350M का एक ऐसा मॉडल, जो छोटे मेमोरी फुटप्रिंट में समाता है और लंबे कॉन्टेक्स्ट भी संभालता है, डिप्लॉयमेंट लागत को काफी घटा सकता है। सवाल यह है कि क्या यह हाइब्रिड आर्किटेक्चर तरीका बड़े मॉडल डिज़ाइनों को प्रभावित करेगा, या edge डिप्लॉयमेंट के लिए एक niche ऑप्टिमाइज़ेशन बनकर रह जाएगा।