VibeVO – Advertisers and creators in one ecosystem

Tag: yapay zeka avatarı

  • Yapay Zeka Avatarı: Sesli Asistana Yüz Ekleme ve Tuzaklardan Kaçınma

    Yapay Zeka Avatarı: Sesli Asistana Yüz Ekleme ve Tuzaklardan Kaçınma

    Mevcut sesli AI yöneticisi Aika’ya AI avatarı entegre etmek sadece bir yüz eklemek değil, aynı zamanda bir dizi teknik zorluk anlamına geliyordu. Yeni hizmetin yalnızca önceden oluşturulmuş sese göre dudakları canlandırması için mevcut mimariyi Yandex Realtime üzerinde korumayı hedefledik. Simli ve Anam testleri sırasında, yanıt öncesi duraklamalar, iPhone’da video başlatma ve mobil internetin kararlılığı ile ilgili nüanslar ortaya çıktı. İkinci karakter Eva’yı oluştururken ise, sinir ağının ikna ediciliğinin sadece yüzün kendisinden değil, aynı zamanda bağlamdan da etkilendiği açıkça görüldü.

    Ses motorumuz zaten çalışır durumda olduğundan, görev sadece yüz animasyonundan ibaretti. Aika, WebSocket aracılığıyla doğrudan tarayıcıda site ziyaretçileriyle iletişim kurar. Bu WebSocket, FastAPI üzerindeki sunucumuza bağlıdır ve sunucu da Yandex Realtime ile bir oturum sürdürür. Bu, ayrı tanıma zincirleri, metin modeli ve sentez ihtiyacını ortadan kaldırarak “konuşmadan konuşmaya” modunu sağlar.

    Sunucu, tarayıcıya 24 kHz PCM16 formatında sıkıştırılmamış sesi parçalar halinde (pcm_chunk) iletir ve avatarın mimiklerini bu akışa senkronize etmek gerekiyordu.

    AI Avatarı için Platform Seçimi: Simli vs Anam

    Test edilen her iki servis de – Simli ve Anam – kullanıcının kendi ses akışını sağladığı ve servisin sesle senkronize edilmiş animasyonlu bir yüz videosu oluşturarak medyayı WebRTC üzerinden döndürdüğü bir mod sunar. Böylece, Yandex konuşmayı üretmeye devam ederken, avatar servisi görsel bileşenden sorumlu olur.

    Ses Entegrasyonunun Teknik Yönleri

    • Örnekleme Frekansı: Yandex sesi 24 kHz’de verir. Simli 16 kHz gerektirir, Anam da 16 kHz olarak ayarlanmıştı, ancak diğer formatları da destekler.
    • Ses Parçalarının İşlenmesi: Ses parçalar halinde gelir. Birleşme yerlerindeki artefaktları önlemek için, kesirli konum ve son örnek bir sonraki parçaya aktarılır. Bu, animasyonun akıcılığını sağlar, ancak tam bir filtre olmadan frekans yeniden hesaplamasının kalitesi hala iyileştirme gerektirmektedir.

    Güvenlik ve Oturum Yönetimi

    Servis anahtarı tarayıcıya ulaşmaz. Sayfa, sunucumuzdan POST /voice/avatar-session aracılığıyla kısa süreli bir oturum belirteci ister. Sunucu origin‘i kontrol eder ve belirteç verme işlemini sınırlar: IP başına saatte 6 ve toplamda saatte 30.

    Belirteç alınmazsa veya video başlamazsa, sayfa normal ses moduna geçer. Belirteç isteği için 8 saniye, SDK’nın başlatılması için 15 saniye ayrılmıştır. SDK’nın başarılı bir şekilde başlatılmasının ilk karenin hemen görünmesini garanti etmediği önemlidir; yüz burada kritik bir işlev değil, bir eklentidir.

    Anam’da Avatar Durum Yönetimi

    Anam iki temel komut sağlar:

    • endSequence(): Bir repliğin son ses parçacığı gönderildikten sonra çağrılır.
    • interruptPersona(): Araya girildiğinde avatarın mevcut konuşmasını durdurur, ardından endSequence() de çağrılır.

    Simli (eski nesil) ve Anam Cara-4 Karşılaştırması

    Elimizdeki versiyonları karşılaştırdık: eski nesil Simli ve Anam Cara-4. Bu, tüm özelliklerin kapsamlı bir karşılaştırması değil, belirli bir görev için bir seçimdir.

    Parametre Simli (eski nesil) Anam Cara-4
    Mimik Dudaklar hareket eder, diğer mimikler sınırlıdır Göz kırpar, gülümser, dişler görünür, başını eğer
    Yüz Oluşturma Eski nesil API aracılığıyla fotoğraftan Tek bir fotoğraftan, deneme videosu mevcut

    Subjektif olarak, Anam daha canlı ve doğal mimikler gösterdi. Bu bizim için belirleyici bir faktör oldu. Daha sonra bir dizi spesifik sorunla karşılaştık.

    Medya Oynatma Özellikleri

    • Ses: Simli’de ses ayrı bir ses öğesi aracılığıyla oynatılırken, Anam’da aynı video öğesi aracılığıyla oynatılıyordu. Bu, Anam video öğesinin muted bırakılamayacağı anlamına gelir, aksi takdirde avatar sessizce “konuşacaktır”.
    • Çözünürlük: Video genellikle düşük çözünürlükte (384×576) başlar ve ancak birkaç saniye sonra yüksek çözünürlüğe (768×1152) geçerdi. sessionOptions.videoQuality: "high" seçeneği yardımcı oldu, ancak yüksek kalitede başlamayı garanti etmedi.
    • Kare Üretim Gecikmesi: Anam’ın kare üretmeye başlamadan önce 0.8 saniye ses alması gerekir. Bu her zaman gerçek zamanlı olarak 0.8 saniye beklemeye eşit değildir, çünkü ses oynatılmaktan daha hızlı gelebilir.

    Mikrofon ve Oturum Yönetimi

    • Yankı Engelleme: Telefonda, Ayka konuşurken, hoparlörden gelen sesini yakalamamak için mikrofon kapatılır. PC’de mikrofon aktiftir ve kullanıcı konuşmaya başladığında (Yandex Realtime’dan barge_in olayı), avatar mevcut konuşmasını durdurur.
    • Meşgul Oturum Yuvası: Ücretsiz planda bir eşzamanlı oturum mevcuttur. Tarayıcı çöktüğünde yuva meşgul kalabilir. GET /v1/sessions/concurrency isteği, yuva meşguliyetini teşhis etmeye yardımcı olur.
    • Bağlantı İptali: Kullanıcı video bağlantısı sırasında “durdur” düğmesine basarsa, gereksiz bir oturum bırakmamak için eşzamansız işlemlerin doğru bir şekilde sonlandırılması gerekir. Bunun için bir nesil sayacı videoGen tanıtılmıştır.

    iPhone’da Safari Sorunları

    iPhone’da Safari’de video başlamadı. Hipotez, otomatik oynatma kurallarıyla ilgilidir. Video öğesinde geçici olarak canvas‘tan akış sağlayarak ve muted‘ı kaldırarak önceden play() çağrısı test çalışmasında yardımcı oldu, ancak evrensel bir çözüm değildir.

    Yanıt vermeden önceki duraklamayı optimize etme

    Kullanıcıya sessizce bakan bir avatarın yanıt vermeden önceki uzun duraklaması, duraklama olmamasından çok daha ağır hissedilir. Başlangıçta, Ayka’nın duraklamalarla bilgi dikte eden kullanıcıların sözünü kesmemesi için sessizlik eşiği (VAD) 2,2 saniyeye ayarlanmıştı.

    Telefon köprüsü mantığını siteye taşıdık: normal bir konuşmada eşik 1500 ms, dikte ederken ise 2200 ms’dir. Bu, VAD hassasiyetini dinamik olarak ayarlamanıza olanak tanır. Ayarlar, yeniden bağlantı kurmadan session.update aracılığıyla uygulanır.

    AI-аватар: как добавить лицо голосовому помощнику и избежать подводных камней — illustration 2

    İkinci karakteri yaratma: Eva

    Stüdyo yöneticisi Eva için boş bir arka planda “stok sarışın” sorunuyla karşılaştık. Dönüm noktası, arkasında bir iç mekan belirdiğinde geldi: sıcak lambalar, raflar, bitkiler, bulanık bir arka plan. Bu, görüntüyü çok daha inandırıcı hale getirdi ve “kataloğu” “iş yerindeki bir kişiye” dönüştürdü.

    Arka plan ve portre oluşturmanın detayları

    • Arka plan: Kendi stilimizde hazır bir iç mekan kullandık, insanları bir jeneratörle kaldırdık.
    • Karakter kesme: Eva, macOS Vision araçları (VNGeneratePersonSegmentationRequest ile .accurate seviyesi) kullanılarak kesildi. Maskenin kenarı, haleyi ortadan kaldırmak için daraltıldı ve yumuşatıldı.
    • Ölçek: Komik durumlardan (örneğin, arkasında dev bir kupa) kaçınmak için arka plandaki nesnelerin ölçeğine uymak önemlidir. Arka planı sadece tezgahın üzerinden aldık ve portre lensi için bulanıklaştırdık.
    • Çözünürlük: Cara-4 için 1152×1152’den kare bir kaynak önerilir. Real-ESRGAN ×4’ün saf büyütmesi cildi çok pürüzsüz hale getirdi. Sinir ağı büyütmesinin normal ölçeklendirme, keskinleştirme ve gren ekleme ile kombinasyonu daha iyi görünüyordu.

    Eva’nın seslendirmesi

    Eva için Yandex’in LiveTTS ailesinden bir ses seçildi. SpeechKit API v3’te model "model": "livetts" aracılığıyla seçilir ve ses ile rol hints aracılığıyla iletilir. Uzun metinler için metin cümlelere ayrıldı ve ayrı ayrı sentezlendi.

    Bir cümlenin yedi seslendirme seçeneğinden vera sesi casual rolünde seçildi. Sentez vurguyu sürekli yanlış yaptığı için cümleyi yeniden yazmak zorunda kaldık.

    Avatar ile video kaydetme

    Eva’nın videosu, canlı arama ile aynı animasyon motoru kullanılarak MediaRecorder doğrudan video.srcObject (video ve ses birlikte, VP9 ve Opus ile WebM) aracılığıyla kaydedildi. Doğru kayıt başlangıcı için akış, videonun siyah bir ekranla başlamaması için bir saniye sessizlikle önceden “uyandırıldı”.

    Sıkça Sorulan Sorular

    AI-avatar nedir ve nasıl çalışır?

    AI-avatar, sağlanan sese göre yüz ifadelerini ve dudak hareketlerini canlandırabilen dijital bir karakterdir. Gerçekçi bir görsel görüntü oluşturmak için sinir ağlarını kullanır ve bu görüntü konuşma ile senkronize edilerek etkileşimi daha doğal ve çekici hale getirir.

    AI avatarınız için kendi sesinizi kullanabilir misiniz?

    Evet, Anam ve Simli gibi çoğu platform kendi ses motorunuzu veya önceden kaydedilmiş sesi kullanmanıza izin verir. Avatar, markanızın veya kişiliğinizin tanınabilirliğini koruyarak bu ses akışına göre yüzü canlandıracaktır.

    AI avatar entegrasyonundaki temel zorluklar nelerdir?

    Temel zorluklar arasında ses ve video senkronizasyonu, ses parçacıklarının işlenmesi, gecikme optimizasyonu, çeşitli cihazlarda (özellikle mobil cihazlarda) istikrarlı performans sağlama ve bağlama ve markaya uygun ikna edici bir görsel oluşturma yer alır.

    Arka plan AI avatarının algısını nasıl etkiler?

    Arka plan, ikna edici bir görüntü oluşturmada kritik bir rol oynar. Boş veya uygunsuz bir arka plan, avatarı doğal olmayan gösterebilir. Karakterin veya markanın stiline uygun bir iç mekan, avatarın gerçekçiliğini ve güvenilirliğini önemli ölçüde artırarak “iş yerindeki bir insan” hissi yaratır.

    Bir AI avatarı oluşturmanın maliyeti nedir?

    AI avatarı oluşturmanın maliyeti, seçilen platforma, özelleştirme düzeyine, yüz ifadelerinin detayına ve benzersiz özelliklere olan ihtiyaca bağlı olarak büyük ölçüde değişebilir. Bazı hizmetler abonelik modelleri sunarken, diğerleri oluşturulan her video dakikası veya benzersiz bir karakterin geliştirilmesi için ücret alabilir.

    Sonuç

    AI avatarı entegrasyonu, kullanıcı etkileşimini artırmak için güçlü bir araçtır, ancak derinlemesine teknik çalışma gerektirir. Platform seçiminden arka planların ve duraklamaların ince ayarına kadar her adım nihai sonucu etkiler. Sinir ağlarının sesli arayüzlere yeni bir soluk getirebileceğini, ancak yalnızca ayrıntılara dikkat edildiğinde bunu yapabileceğini gördük.

    İçeriğinizi ölçeklendirmek ve reklam için AI video oluşturmak istiyorsanız, abonelik tabanlı nöro-prodüksiyon olanaklarını göz önünde bulundurun. Bu, ister kripto projesi için AI UGC ister e-ticaret için AI video fabrikası olsun, yüzlerce video oluşturmanıza olanak tanır. Bu konuda size yardımcı olmaya hazırız! AI içerik prodüksiyonunun işinizi nasıl dönüştürebileceğini öğrenmek için bizimle iletişime geçin.

  • Etkileşimli Yapay Zeka Avatarı: Gazetecinin Dijital Kopyası İş Başında

    Etkileşimli Yapay Zeka Avatarı: Gazetecinin Dijital Kopyası İş Başında

    Sinir ağları dünyayı değiştiriyor ve PR alanı da bir istisna değil. Hayal edin: Orijinali gibi soruları yanıtlayan bir kişinin dijital kopyasıyla iletişim kuruyorsunuz. Synthesia startup’ının kurumsal ilişkiler başkanı Alex Voika, etkileşimli AI avatarını tanıttığında tam da bu oldu. Bu sadece bir sinir ağı tarafından oluşturulan bir metin değil, iletişimlerin geleceği ve etkileşimli AI avatarının bilgiyle etkileşimimizi nasıl değiştirebileceği hakkında düşünmemizi sağlayan gerçek bir atılım.

    Synthesia: 100 milyon dolar ARR’dan dijital ikizler yaratmaya

    Synthesia, D-ID, HeyGen ve Colossyan gibi şirketlerle birlikte AI avatar pazarında büyük bir oyuncu. Bu yıl startup 4 milyar dolar değerlemeye ulaştı ve geçen yıl yıllık yinelenen geliri (ARR) 100 milyon doları aştı.

    Ana görevleri, işletmelerin AI avatarları aracılığıyla etkileşimli eğitim videoları oluşturmasına yardımcı olmaktır. Synthesia kısa süre önce, çalışanların örneğin ticari sunumları geri bildirim veren ve yanıtlarını değerlendiren etkileşimli bir AI avatarıyla pratik yapmalarına olanak tanıyan Roleplay Sessions ürününü piyasaya sürdü. Bu artık sadece 100 video oluşturmak değil, eğitim ve gelişim için tam teşekküllü bir araçtır.

    Gazetecinin AI avatarı nasıl oluşturulur: süreç ve teknolojiler

    Kişisel bir AI avatarı oluşturmak büyüleyici bir süreçtir. Bana kendi dijital kopyamı yapmam teklif edildi ve elbette kabul ettim. Sonuçta, abonelik tabanlı nöro-prodüksiyonun nasıl çalıştığını görme fırsatıydı.

    Bunun için Synthesia ofisindeki mini bir film stüdyosunu ziyaret ettim ve burada birçok fotoğraf çekildi ve iki dakikalık bir ses örneği kaydedildi. İki tür avatar oluşturuldu:

    • Kişisel avatarlar: sadece verilen herhangi bir senaryoyu oynatır.
    • Etkileşimli avatarlar: belirli bilgilere göre eğitilmiş olarak dinleyebilir ve yanıtlayabilir.

    “Annem buna ‘muhteşem’ dedi ki bu onun tarafından büyük bir övgü. O ve babam bana ‘sadece onların bilebileceği’ sorular sormaya çalıştılar – ama model yanıt vermedi, her seferinde onları bir risk sermayesi dolandırıcılığı hikayesine yönlendirdi. ‘İkinizi de doğurduğumu hatırlamıyorum,’ diye şaka yaptı modeli test ettikten sonra.”

    Avatarımın teknolojik yığını Synthesia’nın kendi video ve ses modellerini içeriyor, ancak şirket müşterilerin Cartesia, ElevenLabs, Google veya OpenAI gibi diğer laboratuvarlardan alternatifler seçmesine de olanak tanıyor. İşletmeler avatarlarını herhangi bir bulutta barındırabilir veya barındırma için Synthesia’ya ödeme yapabilir. Bu, AI içerik prodüksiyonu için sınırsız olanaklar açıyor.

    Etkileşimli Avatarın Teknolojik Temeli

    Etkileşimli avatar, birkaç modelin birleşimi sayesinde çalışır:

    1. Sesden Metne (Voice-to-text): kullanıcının konuşmasını metne dönüştürür.
    2. Ajan Dil Modeli: metni analiz eder ve buna göre kararlar alır.
    3. Metinden Sese (Text-to-voice): sesli yanıt oluşturur.
    4. Video Modeli (Synthesia tarafından geliştirildi): konuşma sırasında avatarı canlandırır.

    Bu, altyazılı AI avatarı ve AI seslendirmeleri oluşturmayı mümkün kılar, bu da onu reklam için AI videoları ve yapay zeka ile toplu video üretimi için ideal hale getirir.

    Synthesia Ürün Türleri: Klasik Avatarlardan API’ye

    Synthesia, imkansızı ölçeklendirmeyi – şimdi mümkün kılan üç ana ürün türü sunar:

    Etkileşimli AI Avatarı: Gazetecinin Dijital Kopyası İş Başında — illüstrasyon 2
    • Video Oluşturma ve Dağıtım Platformu: Belirli bir senaryoyu seslendiren klasik avatarlar. AI reklam videoları oluşturmak için idealdir.
    • Sessions Ajan Platformu: Anketlerde veya rol yapma oyunlarında avatarlarla etkileşimli etkileşim.
    • API Platformu: Benzersiz etkileşimli avatarlar ve ürünler oluşturmak için Synthesia’nın video ve ses modellerini diğer teknolojilerle birleştirmeye olanak tanır. Bu, toplu üretim API’si ve kripto projesi için AI UGC oluşturmanın önünü açar.

    Gazeteciliğin Geleceği ve AI Avatarları: Etik Sorunlar

    Avatarımı oluşturmak birkaç gün sürdü. İlk olarak, ses kalitesini değerlendirmek için kişisel avatarları test ettim. Oldukça doğru çıktı ve kayıt sırasında sahip olduğum hırıltıyı aktarmadığı için mutlu oldum.

    Teknolojiyle ilgisi olmayan arkadaşlarım bunu ilginç ve biraz da ürkütücü buldu. Etkileşimli avatarım deterministikti, yani yalnızca eğitildiği konuyla ilgili soruları yanıtlıyordu – risk sermayesi dolandırıcılığı hakkındaki makalem. Bu, gazeteciliğin geleceği hakkında önemli soruları gündeme getiriyor.

    • İnsanlar avatarların sunduğu haberleri izlemeye hazır olacak mı?
    • Avatarlar gazetecileri tamamlayabilir, hatta yerini alabilir mi?
    • Şirket yöneticileri bir insanla değil, bir AI gazeteci avatarıyla iletişim kurmak isteyecek mi?

    Gazeteciliğin ana unsuru güvendir ve bu AI’ya aktarılamaz. Ancak gazeteciliğin dışında, kendini klonlama fikri çok çekici olabilir. Hayal edin: siz dinlenirken, dijital kopyanız çalışmaya devam ediyor, soruları yanıtlıyor. Bu artık fantezi değil, yüz değiştirme özellikli AI klipleri oluşturmaya ve yapay zekanın senaryo yazıp düzenleme yaptığı bir gerçeklik. Bu, e-ticaret için AI video fabrikasıdır ve günde 500 video üretebilir.

    Sıkça Sorulan Sorular

    1 dakikalık yapay zeka videosu ne kadar tutar?

    1 dakikalık yapay zeka videosunun maliyeti, seçilen platforma, avatarın karmaşıklığına, seslendirme kalitesine ve ek özelliklere bağlı olarak büyük ölçüde değişebilir. Synthesia, abonelik tabanlı nöro-prodüksiyon içerebilen çeşitli fiyatlandırma planları sunar ve bu da onu farklı bütçeler için erişilebilir kılar. Ortalama olarak, maliyet dakikada birkaç dolardan başlayıp, özelleştirilmiş çözümler için onlara, hatta yüzlerce dolara ulaşabilir.

    Yapay zeka içerik üretimi nedir?

    Yapay zeka içerik üretimi, yapay zeka kullanarak medya içeriği (video, ses, metin, görüntü) oluşturma sürecidir. Bu, metinden video oluşturmayı, animasyonlu yapay zeka karakterleri oluşturmayı, yapay zeka sesleriyle seslendirmeyi ve hatta senaryo yazmayı içerir. Amaç, içerik oluşturmayı otomatikleştirmek ve hızlandırmak, verimliliğini artırmak ve maliyetleri düşürmektir. Bu, yapay zeka verimliliğinin gerçek UGC’ye karşı elde edilmesini sağlar.

    Kripto projesi için yapay zeka videosu nereden sipariş edebilirim?

    Hız ve ölçeklenebilirliğin önemli olduğu bir kripto projesi için yapay zeka video prodüksiyonu ideal bir çözümdür. Synthesia, HeyGen veya Colossyan gibi platformlara başvurabilirsiniz; bu platformlar kripto projesi için yapay zeka UGC oluşturma hizmetleri sunar. Bu şirketler, sinir ağı ile toplu video oluşturma, altyazılı yapay zeka avatarları oluşturma ve içeriği çeşitli pazarlama kampanyalarına hızlı bir şekilde uyarlama araçları sağlar. Ayrıca, yapay zeka videolarını kendi sistemlerinize entegre etmek için toplu oluşturma API’sini de kullanabilirsiniz.

    Sonuç

    Dünya değişiyor ve sinir ağı hayatımızın ayrılmaz bir parçası haline geliyor. Etkileşimli yapay zeka avatarları oluşturmak sadece teknolojik bir yenilik değil, aynı zamanda render ve deepfake etiğinin anahtar kavramlar haline geldiği geleceğe doğru bir adımdır. Dijital ikizim hakkında karışık duygularım olsa da, bu teknolojinin iş ve iletişim için büyük potansiyelini görüyorum.

    Yeni bir çağın eşiğindeyiz; burada bir yapay zeka yaratıcısının maliyeti çalışma saatleriyle değil, algoritmaların verimliliğiyle belirlenecek. Yapay zekanın dünyayı nasıl değiştirdiği hakkında daha fazla bilgi edinmek için bize katılın! Geleceğin teknolojileri hakkındaki yeni makaleleri kaçırmamak için bültenimize abone olun.