NVIDIA ने KVPress जारी किया है, जो एक ओपन-सोर्स टूलकिट है जो लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडल इनफेरेंस में इस्तेमाल होने वाले Key-Value कैश को कंप्रेस करता है। यह लाइब्रेरी ExpectedAttentionPress और KnormPress सहित कई कंप्रेशन रणनीतियां देती है, जिससे डेवलपर्स मॉडल को दोबारा ट्रेन किए बिना जनरेशन के दौरान मेमोरी उपयोग घटा सकते हैं। शुरुआती टेस्टिंग में Qwen2.5-1.5B-Instruct जैसे मॉडलों पर काफी मेमोरी की बचत दिखी है, हालांकि असली कंप्रेशन अनुपात और परफॉरमेंस पर असर रणनीति और उपयोग के मामले के हिसाब से अलग-अलग होता है।
यह उस गंभीर बाधा को हल करता है जिसे मैं इस साल की शुरुआत में Google के TurboQuant को कवर करने के बाद से ट्रैक कर रहा हूं। KV कैश मेमोरी की खपत कॉन्टेक्स्ट लंबाई के साथ क्वाड्रेटिक रूप से बढ़ती है, और लॉन्ग-कॉन्टेक्स्ट स्थितियों में अक्सर खुद मॉडल वेट्स से भी ज़्यादा VRAM खा जाती है। जहां int8 और int4 KV कंप्रेशन जैसे क्वांटाइज़ेशन तरीके सीधे 2x-4x मेमोरी में कमी देते हैं, वहीं NVIDIA का तरीका सिर्फ कंप्रेस करने के बजाय कम महत्वपूर्ण कैश्ड अटेंशन स्टेट्स को समझदारी से हटाने पर केंद्रित है।
गौर करने वाली बात यह है कि यह मेमोरी ऑप्टिमाइज़ेशन के व्यावहारिक एआई डिप्लॉयमेंट की प्राथमिक बाधा बनने के व्यापक पैटर्न में कैसे फिट बैठता है। अन्य सूत्र पुष्टि करते हैं कि KV कैश की समस्याएं प्रोडक्शन में लॉन्ग-कॉन्टेक्स्ट एआई एजेंटों को "खत्म" कर रही हैं, जिससे लगातार बातचीत और बड़े डॉक्यूमेंट प्रोसेसिंग बेहद महंगे हो जाते हैं। क्वाड्रेटिक स्केलिंग समस्या का मतलब है कि कॉन्टेक्स्ट लंबाई दोगुनी करने पर कंप्यूट लागत चौगुनी हो जाती है, यह एक बुनियादी सीमा है जिसे अकेले कंप्रेशन पूरी तरह हल नहीं कर सकता।
प्रोडक्शन एआई सिस्टम बनाने वाले डेवलपर्स के लिए, KVPress ऑप्टिमाइज़ेशन टूलकिट में एक और औज़ार है, लेकिन कोई रामबाण इलाज नहीं। कंप्रेशन रणनीतियों को सावधानी से ट्यून करने की ज़रूरत होती है और इनके साथ क्वालिटी ट्रेड-ऑफ भी आते हैं, जिन्हें आपके विशेष वर्कलोड के हिसाब से टेस्ट करना ज़रूरी है। और भी अहम बात यह है कि यह संकेत देता है कि वास्तविक दुनिया के एआई एप्लीकेशन्स के लिए मेमोरी ऑप्टिमाइज़ेशन, मॉडल परफॉरमेंस जितनी ही अहम होती जा रही है।