मौजूदा वॉयस एआई एडमिनिस्ट्रेटर आइका में AI-अवतार को एकीकृत करना केवल एक चेहरा जोड़ना नहीं है, बल्कि तकनीकी चुनौतियों की एक पूरी श्रृंखला है। हमारा लक्ष्य Yandex Realtime पर वर्तमान आर्किटेक्चर को बनाए रखना था, ताकि नई सेवा केवल पहले से उत्पन्न ध्वनि के लिए होंठों को एनिमेट करे। Simli और Anam के परीक्षण के दौरान, प्रतिक्रिया से पहले विराम, iPhone पर वीडियो लॉन्च करने और मोबाइल इंटरनेट की स्थिरता के साथ बारीकियां सामने आईं। और दूसरे चरित्र, ईवा को बनाते समय, यह स्पष्ट हो गया कि न्यूरल नेटवर्क की विश्वसनीयता न केवल चेहरे पर, बल्कि संदर्भ पर भी निर्भर करती है।
हमारा वॉयस इंजन पहले से ही काम कर रहा था, इसलिए कार्य केवल चेहरे के एनीमेशन का था। आइका सीधे ब्राउज़र में वेबसाइट आगंतुकों के साथ वेबसॉकेट के माध्यम से संचार करता है, जो हमारे FastAPI सर्वर से जुड़ा है, और वह, बदले में, Yandex Realtime के साथ एक सत्र रखता है। यह “स्पीच-टू-स्पीच” मोड सुनिश्चित करता है, जिससे अलग पहचान श्रृंखला, टेक्स्ट मॉडल और संश्लेषण की आवश्यकता समाप्त हो जाती है।
सर्वर ब्राउज़र को 24 kHz पर PCM16 प्रारूप में असम्पीडित ध्वनि भागों (pcm_chunk) में प्रसारित करता है, और अवतार के चेहरे के भावों को इस स्ट्रीम के साथ सिंक्रनाइज़ करना आवश्यक था।
AI अवतार के लिए प्लेटफ़ॉर्म का चुनाव: Simli बनाम Anam
परीक्षण की गई दोनों सेवाएं – Simli और Anam – एक ऐसा मोड प्रदान करती हैं जहाँ उपयोगकर्ता अपनी ऑडियो स्ट्रीम प्रदान करता है, और सेवा ध्वनि के साथ सिंक्रनाइज़ किए गए एनिमेटेड चेहरे के साथ एक वीडियो उत्पन्न करती है, WebRTC के माध्यम से मीडिया वापस करती है। इस प्रकार, यांडेक्स भाषण उत्पन्न करना जारी रखता है, और अवतार सेवा दृश्य घटक के लिए जिम्मेदार है।
ध्वनि एकीकरण के तकनीकी पहलू
- नमूना दर: यांडेक्स 24 kHz पर ध्वनि आउटपुट करता है। Simli को 16 kHz की आवश्यकता होती है, Anam को भी 16 kHz पर कॉन्फ़िगर किया गया था, हालांकि यह अन्य प्रारूपों का भी समर्थन करता है।
- ऑडियो-चंक प्रोसेसिंग: ध्वनि टुकड़ों में आती है। जंक्शनों पर कलाकृतियों से बचने के लिए, भिन्नात्मक स्थिति और अंतिम नमूना अगले चंक में स्थानांतरित कर दिया जाता है। यह चिकनी एनीमेशन सुनिश्चित करता है, हालांकि पूर्ण फ़िल्टर के बिना आवृत्ति के पुनर्गणना की गुणवत्ता में अभी भी सुधार की आवश्यकता है।
सुरक्षा और सत्र प्रबंधन
सेवा कुंजी ब्राउज़र में नहीं आती है। पृष्ठ हमारे सर्वर से POST /voice/avatar-session के माध्यम से एक अल्पकालिक सत्र टोकन का अनुरोध करता है। सर्वर origin की जाँच करता है और टोकन जारी करने को प्रतिबंधित करता है: प्रति IP 6 प्रति घंटा और कुल 30 प्रति घंटा।
यदि टोकन प्राप्त नहीं होता है या वीडियो लॉन्च नहीं होता है, तो पृष्ठ सामान्य वॉयस मोड पर स्विच हो जाता है। टोकन के अनुरोध के लिए 8 सेकंड आवंटित किए जाते हैं, SDK लॉन्च करने के लिए 15। यह महत्वपूर्ण है कि SDK का सफल लॉन्च पहले फ्रेम की तत्काल उपस्थिति की गारंटी नहीं देता है; चेहरा यहां एक पूरक है, एक महत्वपूर्ण कार्य नहीं।
Anam में अवतार की स्थिति का प्रबंधन
Anam दो मुख्य कमांड प्रदान करता है:
endSequence(): यह किसी संवाद के अंतिम ऑडियो खंड को भेजने के बाद कॉल किया जाता है।interruptPersona(): यह अवतार के वर्तमान भाषण को बाधित होने पर रोकता है, जिसके बादendSequence()भी कॉल किया जाता है।
Simli (पुरानी पीढ़ी) और Anam Cara-4 की तुलना
हमने उपलब्ध संस्करणों की तुलना की: पिछली पीढ़ी का Simli और Anam Cara-4। यह सभी सुविधाओं की व्यापक तुलना नहीं है, बल्कि एक विशिष्ट कार्य के लिए एक चयन है।
| पैरामीटर | Simli (पिछली पीढ़ी) | Anam Cara-4 |
|---|---|---|
| चेहरे के हाव-भाव | होंठ हिलते हैं, बाकी हाव-भाव सीमित होते हैं | पलकें झपकती हैं, मुस्कुराता है, दांत दिखते हैं, सिर झुकाता है |
| चेहरा बनाना | पिछली पीढ़ी के API के माध्यम से फोटो से | एक फोटो से, एक परीक्षण वीडियो उपलब्ध है |
व्यक्तिगत रूप से, Anam ने अधिक सजीव और प्राकृतिक चेहरे के हाव-भाव दिखाए। यह हमारे लिए एक निर्णायक कारक बन गया। इसके बाद, हमें कई विशिष्ट समस्याओं का सामना करना पड़ा।
मीडिया प्लेबैक की विशेषताएं
- ध्वनि: Simli में ध्वनि एक अलग ऑडियो तत्व के माध्यम से चलाई जाती थी, जबकि Anam में – उसी वीडियो तत्व के माध्यम से। इसका मतलब है कि Anam वीडियो तत्व को
mutedनहीं छोड़ा जा सकता है, अन्यथा अवतार बिना आवाज के “बात” करेगा। - रिज़ॉल्यूशन: वीडियो अक्सर कम रिज़ॉल्यूशन (384×576) पर शुरू होता था और कुछ सेकंड के बाद ही उच्च (768×1152) पर स्विच होता था।
sessionOptions.videoQuality: "high"विकल्प मदद करता था, लेकिन उच्च गुणवत्ता के साथ शुरुआत की गारंटी नहीं देता था। - फ्रेम जनरेशन में देरी: Anam को फ्रेम जनरेट करना शुरू करने से पहले 0.8 सेकंड का ऑडियो प्राप्त करने की आवश्यकता होती है। यह हमेशा वास्तविक समय में 0.8 सेकंड के इंतजार के बराबर नहीं होता है, क्योंकि ध्वनि प्लेबैक की तुलना में तेजी से आ सकती है।
माइक्रोफोन और सत्रों का प्रबंधन
- इको दमन: फोन पर, जब तक आइका बोलती है, माइक्रोफोन बंद हो जाता है ताकि स्पीकर से उसकी आवाज को कैप्चर करने से बचा जा सके। पीसी पर माइक्रोफोन सक्रिय होता है, और जब उपयोगकर्ता बोलना शुरू करता है (Yandex Realtime से
barge_inइवेंट), तो अवतार वर्तमान भाषण को रोक देता है। - व्यस्त सत्र स्लॉट: मुफ्त योजना पर, एक साथ एक सत्र उपलब्ध होता है। ब्राउज़र क्रैश होने पर स्लॉट व्यस्त रह सकता है।
GET /v1/sessions/concurrencyअनुरोध स्लॉट की व्यस्तता का निदान करने में मदद करता है। - कनेक्शन रद्द करना: यदि उपयोगकर्ता वीडियो कनेक्शन के दौरान “स्टॉप” दबाता है, तो अनावश्यक सत्र को छोड़ने से बचने के लिए अतुल्यकालिक संचालन को सही ढंग से समाप्त करना आवश्यक है। इसके लिए, एक पीढ़ी काउंटर
videoGenपेश किया गया है।
iPhone पर Safari के साथ समस्याएं
iPhone पर Safari में वीडियो शुरू नहीं हुआ। परिकल्पना ऑटोप्ले नियमों से संबंधित है। canvas से अस्थायी स्ट्रीम फीडिंग और muted को हटाने के साथ वीडियो तत्व पर play() का प्रारंभिक कॉल परीक्षण रन में मदद करता है, लेकिन यह एक सार्वभौमिक समाधान नहीं है।
प्रतिक्रिया से पहले विराम का अनुकूलन
अवतार की प्रतिक्रिया से पहले एक लंबा विराम, जो उपयोगकर्ता को चुपचाप देखता है, बिना उसके मुकाबले कहीं अधिक भारी लगता है। शुरुआत में, मौन की सीमा (VAD) 2.2 सेकंड पर सेट की गई थी ताकि आइका उन उपयोगकर्ताओं को बाधित न करे जो विराम के साथ जानकारी बोल रहे थे।
हमने टेलीफोन ब्रिज के तर्क को साइट पर स्थानांतरित कर दिया: एक सामान्य बातचीत में सीमा 1500 एमएस है, जबकि डिक्टेशन के दौरान यह 2200 एमएस है। यह VAD की संवेदनशीलता को गतिशील रूप से समायोजित करने की अनुमति देता है। सेटिंग्स को बिना पुनर्संयोजन के session.update के माध्यम से लागू किया जाता है।
एक दूसरा चरित्र बनाना: ईवा
स्टूडियो प्रशासक ईवा के लिए, हमें एक खाली पृष्ठभूमि पर “स्टॉक गोरी” की समस्या का सामना करना पड़ा। महत्वपूर्ण मोड़ तब आया जब पृष्ठभूमि में एक इंटीरियर दिखाई दिया: गर्म लैंप, अलमारियां, पौधे, एक धुंधली पृष्ठभूमि। इसने छवि को बहुत अधिक विश्वसनीय बना दिया, “कैटलॉग” को “कार्यस्थल पर व्यक्ति” में बदल दिया।
पृष्ठभूमि और चित्र बनाने का विवरण
- पृष्ठभूमि: हमने अपनी शैली में एक तैयार इंटीरियर का उपयोग किया, जनरेटर का उपयोग करके लोगों को हटा दिया।
- चरित्र काटना: ईवा को macOS विजन (
VNGeneratePersonSegmentationRequestके साथ.accurateस्तर) का उपयोग करके काटा गया था। प्रभामंडल को खत्म करने के लिए मास्क के किनारे को संकुचित और नरम किया गया था। - पैमाना: पृष्ठभूमि में वस्तुओं के पैमाने का पालन करना महत्वपूर्ण है ताकि हास्यास्पद स्थितियों (उदाहरण के लिए, पीठ के पीछे एक विशाल मग) से बचा जा सके। हमने केवल टेबलटॉप के ऊपर की पृष्ठभूमि ली और इसे पोर्ट्रेट लेंस के लिए धुंधला कर दिया।
- रिज़ॉल्यूशन: Cara-4 के लिए, 1152×1152 से एक वर्गाकार स्रोत की सिफारिश की जाती है। Real-ESRGAN ×4 का शुद्ध आवर्धन त्वचा को बहुत चिकना बना देता है। न्यूरल नेटवर्क आवर्धन का एक संयोजन सामान्य स्केलिंग, शार्पनिंग और अनाज जोड़ने के साथ बेहतर दिखता था।
ईवा की आवाज
ईवा के लिए, हमने यांडेक्स के LiveTTS परिवार से एक आवाज चुनी। SpeechKit API v3 में, मॉडल को "model": "livetts" के माध्यम से चुना जाता है, और आवाज और भूमिका hints के माध्यम से पारित की जाती है। लंबे ग्रंथों के लिए, पाठ को वाक्यों में विभाजित किया गया था और अलग से संश्लेषित किया गया था।
एक ही वाक्यांश के सात आवाज विकल्पों में से, हमने casual भूमिका में vera आवाज को चुना। हमें वाक्यांश को फिर से लिखना पड़ा, क्योंकि संश्लेषण लगातार उच्चारण में गलती कर रहा था।
अवतार के साथ वीडियो रिकॉर्ड करना
ईवा के वीडियो को उसी एनीमेशन इंजन के माध्यम से रिकॉर्ड किया गया था जैसे लाइव कॉल, video.srcObject (वीडियो और ऑडियो एक साथ, VP9 और Opus के साथ WebM) से सीधे MediaRecorder का उपयोग करके। सही रिकॉर्डिंग शुरू करने के लिए, स्ट्रीम को पहले एक सेकंड के मौन के साथ “जागृत” किया गया था ताकि वीडियो काली स्क्रीन से शुरू न हो।
अक्सर पूछे जाने वाले प्रश्न
AI-अवतार क्या है और यह कैसे काम करता है?
AI-अवतार एक डिजिटल चरित्र है जो प्रदान किए गए ऑडियो के अनुसार चेहरे के भावों और होंठों की गतिविधियों को एनिमेट करने में सक्षम है। यह भाषण के साथ सिंक्रनाइज़ होने वाली एक यथार्थवादी दृश्य छवि बनाने के लिए न्यूरल नेटवर्क का उपयोग करता है, जिससे बातचीत अधिक स्वाभाविक और आकर्षक हो जाती है।
क्या मैं AI अवतार के लिए अपनी आवाज का उपयोग कर सकता हूँ?
हाँ, Anam और Simli जैसे अधिकांश प्लेटफ़ॉर्म आपको अपने स्वयं के वॉयस इंजन या पूर्व-रिकॉर्ड की गई ऑडियो का उपयोग करने की अनुमति देते हैं। अवतार इस ऑडियो स्ट्रीम के अनुसार चेहरे को एनिमेट करेगा, जिससे आपके ब्रांड या व्यक्तित्व की पहचान बनी रहेगी।
AI अवतार को एकीकृत करने में मुख्य चुनौतियाँ क्या हैं?
मुख्य चुनौतियों में ऑडियो और वीडियो का सिंक्रनाइज़ेशन, ऑडियो चंक्स का प्रसंस्करण, विलंबता का अनुकूलन, विभिन्न उपकरणों (विशेषकर मोबाइल) पर स्थिर संचालन सुनिश्चित करना, और एक आकर्षक दृश्य छवि बनाना शामिल है जो संदर्भ और ब्रांड से मेल खाती हो।
पृष्ठभूमि AI अवतार की धारणा को कैसे प्रभावित करती है?
पृष्ठभूमि एक आकर्षक छवि बनाने में महत्वपूर्ण भूमिका निभाती है। एक खाली या अनुपयुक्त पृष्ठभूमि अवतार को अप्राकृतिक बना सकती है। एक इंटीरियर जो चरित्र या ब्रांड की शैली से मेल खाता है, अवतार की यथार्थता और विश्वसनीयता को काफी बढ़ाता है, जिससे “कार्यस्थल पर व्यक्ति” की उपस्थिति का एहसास होता है।
AI अवतार बनाने में कितना खर्च आता है?
AI अवतार बनाने की लागत चुने गए प्लेटफ़ॉर्म, अनुकूलन के स्तर, चेहरे के भावों के विवरण और अद्वितीय कार्यों की आवश्यकता के आधार पर बहुत भिन्न हो सकती है। कुछ सेवाएँ सदस्यता मॉडल प्रदान करती हैं, जबकि अन्य प्रति मिनट उत्पन्न वीडियो या एक अद्वितीय चरित्र के विकास के लिए शुल्क ले सकती हैं।
निष्कर्ष
AI अवतार का एकीकरण उपयोगकर्ता जुड़ाव बढ़ाने के लिए एक शक्तिशाली उपकरण है, लेकिन इसके लिए गहन तकनीकी विकास की आवश्यकता है। प्लेटफ़ॉर्म के चयन से लेकर पृष्ठभूमि और विरामों के ठीक समायोजन तक – प्रत्येक चरण अंतिम परिणाम को प्रभावित करता है। हमने देखा है कि न्यूरल नेटवर्क वॉयस इंटरफेस में नया जीवन फूंक सकते हैं, लेकिन केवल विवरणों पर सावधानीपूर्वक ध्यान देने पर ही।
यदि आप अपनी सामग्री को स्केल करना चाहते हैं और विज्ञापन के लिए AI वीडियो बनाना चाहते हैं, तो सदस्यता द्वारा न्यूरो-प्रोडक्शन की संभावनाओं पर विचार करें। यह सैकड़ों वीडियो उत्पन्न करने की अनुमति देता है, चाहे वह क्रिप्टो प्रोजेक्ट के लिए AI UGC हो या ई-कॉमर्स के लिए AI वीडियो की फैक्ट्री। हम इसमें आपकी मदद करने के लिए तैयार हैं! यह जानने के लिए हमसे संपर्क करें कि AI सामग्री उत्पादन आपके व्यवसाय को कैसे बदल सकता है।