Mevcut sesli AI yöneticisi Aika’ya AI avatarı entegre etmek sadece bir yüz eklemek değil, aynı zamanda bir dizi teknik zorluk anlamına geliyordu. Yeni hizmetin yalnızca önceden oluşturulmuş sese göre dudakları canlandırması için mevcut mimariyi Yandex Realtime üzerinde korumayı hedefledik. Simli ve Anam testleri sırasında, yanıt öncesi duraklamalar, iPhone’da video başlatma ve mobil internetin kararlılığı ile ilgili nüanslar ortaya çıktı. İkinci karakter Eva’yı oluştururken ise, sinir ağının ikna ediciliğinin sadece yüzün kendisinden değil, aynı zamanda bağlamdan da etkilendiği açıkça görüldü.
Ses motorumuz zaten çalışır durumda olduğundan, görev sadece yüz animasyonundan ibaretti. Aika, WebSocket aracılığıyla doğrudan tarayıcıda site ziyaretçileriyle iletişim kurar. Bu WebSocket, FastAPI üzerindeki sunucumuza bağlıdır ve sunucu da Yandex Realtime ile bir oturum sürdürür. Bu, ayrı tanıma zincirleri, metin modeli ve sentez ihtiyacını ortadan kaldırarak “konuşmadan konuşmaya” modunu sağlar.
Sunucu, tarayıcıya 24 kHz PCM16 formatında sıkıştırılmamış sesi parçalar halinde (pcm_chunk) iletir ve avatarın mimiklerini bu akışa senkronize etmek gerekiyordu.
AI Avatarı için Platform Seçimi: Simli vs Anam
Test edilen her iki servis de – Simli ve Anam – kullanıcının kendi ses akışını sağladığı ve servisin sesle senkronize edilmiş animasyonlu bir yüz videosu oluşturarak medyayı WebRTC üzerinden döndürdüğü bir mod sunar. Böylece, Yandex konuşmayı üretmeye devam ederken, avatar servisi görsel bileşenden sorumlu olur.
Ses Entegrasyonunun Teknik Yönleri
- Örnekleme Frekansı: Yandex sesi 24 kHz’de verir. Simli 16 kHz gerektirir, Anam da 16 kHz olarak ayarlanmıştı, ancak diğer formatları da destekler.
- Ses Parçalarının İşlenmesi: Ses parçalar halinde gelir. Birleşme yerlerindeki artefaktları önlemek için, kesirli konum ve son örnek bir sonraki parçaya aktarılır. Bu, animasyonun akıcılığını sağlar, ancak tam bir filtre olmadan frekans yeniden hesaplamasının kalitesi hala iyileştirme gerektirmektedir.
Güvenlik ve Oturum Yönetimi
Servis anahtarı tarayıcıya ulaşmaz. Sayfa, sunucumuzdan POST /voice/avatar-session aracılığıyla kısa süreli bir oturum belirteci ister. Sunucu origin‘i kontrol eder ve belirteç verme işlemini sınırlar: IP başına saatte 6 ve toplamda saatte 30.
Belirteç alınmazsa veya video başlamazsa, sayfa normal ses moduna geçer. Belirteç isteği için 8 saniye, SDK’nın başlatılması için 15 saniye ayrılmıştır. SDK’nın başarılı bir şekilde başlatılmasının ilk karenin hemen görünmesini garanti etmediği önemlidir; yüz burada kritik bir işlev değil, bir eklentidir.
Anam’da Avatar Durum Yönetimi
Anam iki temel komut sağlar:
endSequence(): Bir repliğin son ses parçacığı gönderildikten sonra çağrılır.interruptPersona(): Araya girildiğinde avatarın mevcut konuşmasını durdurur, ardındanendSequence()de çağrılır.
Simli (eski nesil) ve Anam Cara-4 Karşılaştırması
Elimizdeki versiyonları karşılaştırdık: eski nesil Simli ve Anam Cara-4. Bu, tüm özelliklerin kapsamlı bir karşılaştırması değil, belirli bir görev için bir seçimdir.
| Parametre | Simli (eski nesil) | Anam Cara-4 |
|---|---|---|
| Mimik | Dudaklar hareket eder, diğer mimikler sınırlıdır | Göz kırpar, gülümser, dişler görünür, başını eğer |
| Yüz Oluşturma | Eski nesil API aracılığıyla fotoğraftan | Tek bir fotoğraftan, deneme videosu mevcut |
Subjektif olarak, Anam daha canlı ve doğal mimikler gösterdi. Bu bizim için belirleyici bir faktör oldu. Daha sonra bir dizi spesifik sorunla karşılaştık.
Medya Oynatma Özellikleri
- Ses: Simli’de ses ayrı bir ses öğesi aracılığıyla oynatılırken, Anam’da aynı video öğesi aracılığıyla oynatılıyordu. Bu, Anam video öğesinin
mutedbırakılamayacağı anlamına gelir, aksi takdirde avatar sessizce “konuşacaktır”. - Çözünürlük: Video genellikle düşük çözünürlükte (384×576) başlar ve ancak birkaç saniye sonra yüksek çözünürlüğe (768×1152) geçerdi.
sessionOptions.videoQuality: "high"seçeneği yardımcı oldu, ancak yüksek kalitede başlamayı garanti etmedi. - Kare Üretim Gecikmesi: Anam’ın kare üretmeye başlamadan önce 0.8 saniye ses alması gerekir. Bu her zaman gerçek zamanlı olarak 0.8 saniye beklemeye eşit değildir, çünkü ses oynatılmaktan daha hızlı gelebilir.
Mikrofon ve Oturum Yönetimi
- Yankı Engelleme: Telefonda, Ayka konuşurken, hoparlörden gelen sesini yakalamamak için mikrofon kapatılır. PC’de mikrofon aktiftir ve kullanıcı konuşmaya başladığında (Yandex Realtime’dan
barge_inolayı), avatar mevcut konuşmasını durdurur. - Meşgul Oturum Yuvası: Ücretsiz planda bir eşzamanlı oturum mevcuttur. Tarayıcı çöktüğünde yuva meşgul kalabilir.
GET /v1/sessions/concurrencyisteği, yuva meşguliyetini teşhis etmeye yardımcı olur. - Bağlantı İptali: Kullanıcı video bağlantısı sırasında “durdur” düğmesine basarsa, gereksiz bir oturum bırakmamak için eşzamansız işlemlerin doğru bir şekilde sonlandırılması gerekir. Bunun için bir nesil sayacı
videoGentanıtılmıştır.
iPhone’da Safari Sorunları
iPhone’da Safari’de video başlamadı. Hipotez, otomatik oynatma kurallarıyla ilgilidir. Video öğesinde geçici olarak canvas‘tan akış sağlayarak ve muted‘ı kaldırarak önceden play() çağrısı test çalışmasında yardımcı oldu, ancak evrensel bir çözüm değildir.
Yanıt vermeden önceki duraklamayı optimize etme
Kullanıcıya sessizce bakan bir avatarın yanıt vermeden önceki uzun duraklaması, duraklama olmamasından çok daha ağır hissedilir. Başlangıçta, Ayka’nın duraklamalarla bilgi dikte eden kullanıcıların sözünü kesmemesi için sessizlik eşiği (VAD) 2,2 saniyeye ayarlanmıştı.
Telefon köprüsü mantığını siteye taşıdık: normal bir konuşmada eşik 1500 ms, dikte ederken ise 2200 ms’dir. Bu, VAD hassasiyetini dinamik olarak ayarlamanıza olanak tanır. Ayarlar, yeniden bağlantı kurmadan session.update aracılığıyla uygulanır.
İkinci karakteri yaratma: Eva
Stüdyo yöneticisi Eva için boş bir arka planda “stok sarışın” sorunuyla karşılaştık. Dönüm noktası, arkasında bir iç mekan belirdiğinde geldi: sıcak lambalar, raflar, bitkiler, bulanık bir arka plan. Bu, görüntüyü çok daha inandırıcı hale getirdi ve “kataloğu” “iş yerindeki bir kişiye” dönüştürdü.
Arka plan ve portre oluşturmanın detayları
- Arka plan: Kendi stilimizde hazır bir iç mekan kullandık, insanları bir jeneratörle kaldırdık.
- Karakter kesme: Eva, macOS Vision araçları (
VNGeneratePersonSegmentationRequestile.accurateseviyesi) kullanılarak kesildi. Maskenin kenarı, haleyi ortadan kaldırmak için daraltıldı ve yumuşatıldı. - Ölçek: Komik durumlardan (örneğin, arkasında dev bir kupa) kaçınmak için arka plandaki nesnelerin ölçeğine uymak önemlidir. Arka planı sadece tezgahın üzerinden aldık ve portre lensi için bulanıklaştırdık.
- Çözünürlük: Cara-4 için 1152×1152’den kare bir kaynak önerilir. Real-ESRGAN ×4’ün saf büyütmesi cildi çok pürüzsüz hale getirdi. Sinir ağı büyütmesinin normal ölçeklendirme, keskinleştirme ve gren ekleme ile kombinasyonu daha iyi görünüyordu.
Eva’nın seslendirmesi
Eva için Yandex’in LiveTTS ailesinden bir ses seçildi. SpeechKit API v3’te model "model": "livetts" aracılığıyla seçilir ve ses ile rol hints aracılığıyla iletilir. Uzun metinler için metin cümlelere ayrıldı ve ayrı ayrı sentezlendi.
Bir cümlenin yedi seslendirme seçeneğinden vera sesi casual rolünde seçildi. Sentez vurguyu sürekli yanlış yaptığı için cümleyi yeniden yazmak zorunda kaldık.
Avatar ile video kaydetme
Eva’nın videosu, canlı arama ile aynı animasyon motoru kullanılarak MediaRecorder doğrudan video.srcObject (video ve ses birlikte, VP9 ve Opus ile WebM) aracılığıyla kaydedildi. Doğru kayıt başlangıcı için akış, videonun siyah bir ekranla başlamaması için bir saniye sessizlikle önceden “uyandırıldı”.
Sıkça Sorulan Sorular
AI-avatar nedir ve nasıl çalışır?
AI-avatar, sağlanan sese göre yüz ifadelerini ve dudak hareketlerini canlandırabilen dijital bir karakterdir. Gerçekçi bir görsel görüntü oluşturmak için sinir ağlarını kullanır ve bu görüntü konuşma ile senkronize edilerek etkileşimi daha doğal ve çekici hale getirir.
AI avatarınız için kendi sesinizi kullanabilir misiniz?
Evet, Anam ve Simli gibi çoğu platform kendi ses motorunuzu veya önceden kaydedilmiş sesi kullanmanıza izin verir. Avatar, markanızın veya kişiliğinizin tanınabilirliğini koruyarak bu ses akışına göre yüzü canlandıracaktır.
AI avatar entegrasyonundaki temel zorluklar nelerdir?
Temel zorluklar arasında ses ve video senkronizasyonu, ses parçacıklarının işlenmesi, gecikme optimizasyonu, çeşitli cihazlarda (özellikle mobil cihazlarda) istikrarlı performans sağlama ve bağlama ve markaya uygun ikna edici bir görsel oluşturma yer alır.
Arka plan AI avatarının algısını nasıl etkiler?
Arka plan, ikna edici bir görüntü oluşturmada kritik bir rol oynar. Boş veya uygunsuz bir arka plan, avatarı doğal olmayan gösterebilir. Karakterin veya markanın stiline uygun bir iç mekan, avatarın gerçekçiliğini ve güvenilirliğini önemli ölçüde artırarak “iş yerindeki bir insan” hissi yaratır.
Bir AI avatarı oluşturmanın maliyeti nedir?
AI avatarı oluşturmanın maliyeti, seçilen platforma, özelleştirme düzeyine, yüz ifadelerinin detayına ve benzersiz özelliklere olan ihtiyaca bağlı olarak büyük ölçüde değişebilir. Bazı hizmetler abonelik modelleri sunarken, diğerleri oluşturulan her video dakikası veya benzersiz bir karakterin geliştirilmesi için ücret alabilir.
Sonuç
AI avatarı entegrasyonu, kullanıcı etkileşimini artırmak için güçlü bir araçtır, ancak derinlemesine teknik çalışma gerektirir. Platform seçiminden arka planların ve duraklamaların ince ayarına kadar her adım nihai sonucu etkiler. Sinir ağlarının sesli arayüzlere yeni bir soluk getirebileceğini, ancak yalnızca ayrıntılara dikkat edildiğinde bunu yapabileceğini gördük.
İçeriğinizi ölçeklendirmek ve reklam için AI video oluşturmak istiyorsanız, abonelik tabanlı nöro-prodüksiyon olanaklarını göz önünde bulundurun. Bu, ister kripto projesi için AI UGC ister e-ticaret için AI video fabrikası olsun, yüzlerce video oluşturmanıza olanak tanır. Bu konuda size yardımcı olmaya hazırız! AI içerik prodüksiyonunun işinizi nasıl dönüştürebileceğini öğrenmek için bizimle iletişime geçin.