Tencent AI Lab ने Covo-Audio जारी किया है, एक 7B-पैरामीटर मॉडल जो बिना ट्रांसक्रिप्शन स्टेप के ऑडियो को एंड-टू-एंड प्रोसेस करता है। Whisper-large-v3 एनकोडिंग के साथ Qwen2.5-7B-Base पर बना यह मॉडल 50Hz पर लगातार ऑडियो लेता है, स्पेशलाइज्ड एडाप्टर्स के जरिए इसे 6.25Hz तक डाउनसैंपल करता है, और Flow-Matching तथा BigVGAN के जरिए 24kHz वेवफॉर्म आउटपुट करता है। यह मॉडल ट्रेनिंग के दौरान 2T टोकन संभालता है और एकॉस्टिक फीचर्स, डिस्क्रीट स्पीच टोकन तथा टेक्स्ट को एक साथ अलाइन करने के लिए हायरार्किकल ट्राई-मॉडल इंटरलीविंग का इस्तेमाल करता है।
यह इसलिए मायने रखता है क्योंकि ज्यादातर "कन्वर्सेशनल AI" अब भी उस बोझिल स्पीच-टू-टेक्स्ट-टू-स्पीच पाइपलाइन पर चलते हैं, जो लेटेंसी बढ़ाती है और बारीकियां खो देती है। डायरेक्ट ऑडियो प्रोसेसिंग आखिरकार वह सहज वॉयस इंटरैक्शन दे सकती है जिसका वादा लंबे समय से किया जा रहा है। Tencent का "इंटेलिजेंस-स्पीकर डीकपलिंग" तरीका खासतौर पर स्मार्ट है, यह रीजनिंग को वॉयस सिंथेसिस से अलग करता है, जिससे न्यूनतम TTS डेटा के साथ स्पीकर कस्टमाइज किए जा सकते हैं, वह भी मॉडल की कन्वर्सेशनल क्षमताओं को बनाए रखते हुए।
अतिरिक्त सोर्स न होने की वजह से हमारे पास सिर्फ Tencent के परफॉर्मेंस दावे बचते हैं। 6.25Hz की प्रोसेसिंग रेट रियल-टाइम एप्लीकेशन के लिए काफी आक्रामक लगती है, और 7B पैरामीटर एक साथ ऑडियो प्रोसेसिंग संभालते हुए जटिल रीजनिंग में मुश्किल में पड़ सकते हैं। पेपर में Whisper के जरिए बैकग्राउंड नॉइज़ रेजिलिएंस का जिक्र है, पर असली टेस्ट रियल-वर्ल्ड ऑडियो कंडीशन में ही होगा।
डेवलपर्स के लिए, अगर इन्फरेंस पाइपलाइन सच में रियल-टाइम परफॉर्मेंस दे पाती है तो यह अहम हो सकता है। ओपन-सोर्स रिलीज का मतलब है कि आप API कॉल पर निर्भर रहने के बजाय इसे खुद टेस्ट कर सकते हैं। पर कंप्यूट की भारी जरूरत की उम्मीद रखें, 7B पैरामीटर के साथ ऑडियो प्रोसेसिंग आपके लैपटॉप पर नहीं चलेगी। अगर आप वॉयस एप्लीकेशन बना रहे हैं तो इसे आजमाना फायदेमंद है, पर प्रोडक्शन में उतारने से पहले लेटेंसी को ध्यान से मापें।