VibeVO – Advertisers and creators in one ecosystem

Tag: avatar ai

  • Avatar AI: Cara Menambahkan Wajah ke Asisten Suara dan Menghindari Jebakan

    Avatar AI: Cara Menambahkan Wajah ke Asisten Suara dan Menghindari Jebakan

    Integrasi AI-avatar ke dalam administrator AI suara Ayka yang sudah ada bukan hanya sekadar menambahkan wajah, tetapi serangkaian tantangan teknis. Kami berusaha mempertahankan arsitektur saat ini di Yandex Realtime, agar layanan baru hanya menganimasikan bibir sesuai suara yang sudah dihasilkan. Selama pengujian Simli dan Anam, muncul nuansa dengan jeda sebelum menjawab, peluncuran video di iPhone, dan stabilitas internet seluler. Dan saat membuat karakter kedua, Eva, menjadi jelas bahwa kredibilitas jaringan saraf tidak hanya bergantung pada wajah itu sendiri, tetapi juga pada konteks.

    Mesin suara kami sudah berfungsi, jadi tugasnya hanya menganimasikan wajah. Ayka berkomunikasi dengan pengunjung situs web langsung di browser melalui WebSocket, yang terhubung ke server kami di FastAPI, dan server tersebut, pada gilirannya, menjaga sesi dengan Yandex Realtime. Ini menyediakan mode “ucapan ke ucapan”, menghilangkan kebutuhan akan rantai pengenalan terpisah, model teks, dan sintesis.

    Server mengirimkan suara yang tidak terkompresi dalam format PCM16 pada 24 kHz dalam bagian-bagian (pcm_chunk) ke browser, dan mimik avatar perlu disinkronkan dengan aliran ini.

    Pemilihan Platform untuk AI-Avatar: Simli vs Anam

    Kedua layanan yang diuji – Simli dan Anam – menawarkan mode di mana pengguna menyediakan aliran audio mereka, dan layanan menghasilkan video dengan wajah animasi yang disinkronkan dengan suara, mengembalikan media melalui WebRTC. Dengan demikian, Yandex terus menghasilkan ucapan, dan layanan avatar bertanggung jawab atas komponen visual.

    Aspek Teknis Integrasi Suara

    • Frekuensi sampling: Yandex mengeluarkan suara pada 24 kHz. Simli membutuhkan 16 kHz, Anam juga diatur pada 16 kHz, meskipun mendukung format lain.
    • Pemrosesan audio-chunk: Suara datang dalam potongan-potongan. Untuk menghindari artefak pada sambungan, posisi pecahan dan sampel terakhir dipindahkan ke chunk berikutnya. Ini memastikan kelancaran animasi, meskipun kualitas penghitungan ulang frekuensi tanpa filter penuh masih memerlukan perbaikan.

    Keamanan dan Manajemen Sesi

    Kunci layanan tidak masuk ke browser. Halaman meminta token sesi jangka pendek dari server kami melalui POST /voice/avatar-session. Server memeriksa origin dan membatasi penerbitan token: 6 per jam per IP dan 30 per jam secara total.

    Jika token tidak diperoleh atau video tidak diluncurkan, halaman beralih ke mode suara biasa. Permintaan token diberi waktu 8 detik, peluncuran SDK 15 detik. Penting untuk dicatat bahwa peluncuran SDK yang berhasil tidak menjamin munculnya bingkai pertama secara instan; wajah di sini adalah pelengkap, bukan fungsi kritis.

    Manajemen Status Avatar di Anam

    Anam menyediakan dua perintah utama:

    • endSequence(): dipanggil setelah fragmen audio terakhir dari ucapan dikirim.
    • interruptPersona(): menghentikan ucapan avatar saat ini ketika disela, setelah itu endSequence() juga dipanggil.

    Perbandingan Simli (generasi lama) dan Anam Cara-4

    Kami membandingkan versi yang tersedia bagi kami: Simli generasi sebelumnya dan Anam Cara-4. Ini bukan perbandingan lengkap dari semua fitur, melainkan pilihan untuk tugas tertentu.

    Parameter Simli (generasi sebelumnya) Anam Cara-4
    Ekspresi Wajah Bibir bergerak, ekspresi wajah lainnya terbatas Mengedipkan mata, tersenyum, gigi terlihat, memiringkan kepala
    Pembuatan Wajah Dari foto melalui API generasi sebelumnya Dari satu foto, video percobaan tersedia

    Secara subjektif, Anam menunjukkan ekspresi wajah yang lebih hidup dan alami. Bagi kami, ini menjadi faktor penentu. Selanjutnya, kami menghadapi sejumlah masalah spesifik.

    Fitur Pemutaran Media

    • Suara: Di Simli, suara diputar melalui elemen audio terpisah, di Anam — melalui elemen video yang sama. Ini berarti elemen video Anam tidak dapat dibiarkan muted, jika tidak, avatar akan “berbicara” tanpa suara.
    • Resolusi: Video sering dimulai dengan resolusi rendah (384×576) dan baru setelah beberapa detik beralih ke resolusi tinggi (768×1152). Opsi sessionOptions.videoQuality: "high" membantu, tetapi tidak menjamin mulai dengan kualitas tinggi.
    • Penundaan Generasi Bingkai: Anam perlu menerima audio 0,8 detik sebelum mulai menghasilkan bingkai. Ini tidak selalu sama dengan 0,8 detik waktu tunggu real-time, karena suara dapat masuk lebih cepat daripada diputar.

    Manajemen Mikrofon dan Sesi

    • Penekanan Gema: Di ponsel, saat Aika berbicara, mikrofon dimatikan untuk menghindari penangkapan suaranya dari speaker. Di PC, mikrofon aktif, dan saat pengguna mulai berbicara (peristiwa barge_in dari Yandex Realtime), avatar menghentikan ucapan saat ini.
    • Slot Sesi Sibuk: Pada paket gratis, hanya satu sesi bersamaan yang tersedia. Jika browser crash, slot bisa tetap sibuk. Permintaan GET /v1/sessions/concurrency membantu mendiagnosis kesibukan slot.
    • Pembatalan Koneksi: Jika pengguna menekan “stop” saat video sedang terhubung, operasi asinkron harus diselesaikan dengan benar agar tidak meninggalkan sesi yang tidak perlu. Untuk ini, penghitung generasi videoGen diperkenalkan.

    Masalah dengan Safari di iPhone

    Di iPhone di Safari, video tidak dimulai. Hipotesis terkait dengan aturan putar otomatis. Panggilan awal play() pada elemen video dengan umpan sementara dari canvas dan penghapusan muted membantu dalam uji coba, tetapi bukan solusi universal.

    Optimalisasi Jeda Sebelum Menjawab

    Jeda panjang sebelum avatar menjawab, yang hanya diam menatap pengguna, terasa jauh lebih berat daripada tanpa jeda. Awalnya, ambang batas keheningan (VAD) diatur pada 2,2 detik agar Aika tidak menyela pengguna yang mendiktekan informasi dengan jeda.

    Kami memindahkan logika jembatan telepon ke situs web: dalam percakapan biasa, ambang batasnya adalah 1500 ms, saat mendikte – 2200 ms. Ini memungkinkan penyesuaian sensitivitas VAD secara dinamis. Pengaturan diterapkan melalui session.update tanpa koneksi ulang.

    AI-avatar: cara menambahkan wajah ke asisten suara dan menghindari jebakan — ilustrasi 2

    Membuat Karakter Kedua: Eva

    Untuk administrator studio Eva, kami menghadapi masalah “pirang stok” dengan latar belakang kosong. Titik balik terjadi ketika interior muncul di belakangnya: lampu hangat, rak, tanaman, latar belakang yang buram. Ini membuat gambar jauh lebih meyakinkan, mengubah “katalog” menjadi “orang di tempat kerja”.

    Detail Pembuatan Latar Belakang dan Potret

    • Latar Belakang: Menggunakan interior siap pakai dengan gaya kami, menghilangkan orang dengan generator.
    • Memotong Karakter: Eva dipotong menggunakan alat macOS Vision (VNGeneratePersonSegmentationRequest dengan level .accurate). Tepi masker dipersempit dan diperhalus untuk menghilangkan halo.
    • Skala: Penting untuk menjaga skala objek di latar belakang untuk menghindari situasi lucu (misalnya, cangkir raksasa di belakang). Latar belakang hanya diambil di atas meja dan diburamkan untuk lensa potret.
    • Resolusi: Untuk Cara-4, sumber persegi dari 1152×1152 direkomendasikan. Pembesaran murni Real-ESRGAN ×4 membuat kulit terlalu halus. Kombinasi pembesaran jaringan saraf dengan penskalaan biasa, penajaman, dan penambahan butiran terlihat lebih baik.

    Pengisi Suara Eva

    Untuk Eva, kami memilih suara dari keluarga LiveTTS Yandex. Di SpeechKit API v3, model dipilih melalui "model": "livetts", dan suara serta peran disampaikan melalui hints. Untuk teks panjang, teks dipecah menjadi kalimat dan disintesis secara terpisah.

    Dari tujuh opsi pengisi suara untuk satu frasa, kami memilih suara vera dalam peran casual. Kami harus menulis ulang frasa tersebut, karena sintesis secara konsisten salah dalam penekanan.

    Merekam Video dengan Avatar

    Video Eva direkam melalui mesin animasi yang sama dengan panggilan langsung, menggunakan MediaRecorder langsung dari video.srcObject (video dan audio bersama, WebM dengan VP9 dan Opus). Untuk memulai perekaman dengan benar, aliran “dibangunkan” terlebih dahulu dengan satu detik keheningan agar video tidak dimulai dengan layar hitam.

    Pertanyaan yang Sering Diajukan

    Apa itu AI-avatar dan bagaimana cara kerjanya?

    AI-avatar adalah karakter digital yang mampu menganimasikan ekspresi wajah dan gerakan bibir sesuai dengan audio yang diberikan. Ini menggunakan jaringan saraf untuk menciptakan citra visual yang realistis yang disinkronkan dengan ucapan, membuat interaksi lebih alami dan menarik.

    Bisakah saya menggunakan suara saya sendiri untuk avatar AI?

    Ya, sebagian besar platform, seperti Anam dan Simli, memungkinkan Anda menggunakan mesin suara Anda sendiri atau audio yang direkam sebelumnya. Avatar akan menganimasikan wajah sesuai dengan aliran audio ini, mempertahankan pengenalan merek atau persona Anda.

    Apa saja tantangan utama dalam mengintegrasikan avatar AI?

    Tantangan utama meliputi sinkronisasi audio dan video, pemrosesan potongan audio, optimasi latensi, memastikan operasi yang stabil di berbagai perangkat (terutama seluler), serta menciptakan citra visual yang meyakinkan yang sesuai dengan konteks dan merek.

    Bagaimana latar belakang memengaruhi persepsi avatar AI?

    Latar belakang memainkan peran penting dalam menciptakan citra yang meyakinkan. Latar belakang yang kosong atau tidak sesuai dapat membuat avatar terlihat tidak alami. Interior yang sesuai dengan gaya karakter atau merek secara signifikan meningkatkan realisme dan kepercayaan pada avatar, menciptakan kesan kehadiran “orang di tempat kerja”.

    Berapa biaya pembuatan avatar AI?

    Biaya pembuatan avatar AI dapat sangat bervariasi tergantung pada platform yang dipilih, tingkat kustomisasi, detail ekspresi wajah, dan kebutuhan akan fitur unik. Beberapa layanan menawarkan model langganan, sementara yang lain mungkin mengenakan biaya per menit video yang dihasilkan atau untuk pengembangan karakter unik.

    Kesimpulan

    Integrasi avatar AI adalah alat yang ampuh untuk meningkatkan keterlibatan pengguna, tetapi membutuhkan pengembangan teknis yang mendalam. Dari pemilihan platform hingga penyesuaian latar belakang dan jeda yang halus – setiap langkah memengaruhi hasil akhir. Kami telah melihat bahwa jaringan saraf mampu memberikan kehidupan baru pada antarmuka suara, tetapi hanya dengan perhatian cermat terhadap detail.

    Jika Anda ingin menskalakan konten Anda dan membuat video AI untuk iklan, pertimbangkan kemungkinan produksi neuro-berlangganan. Ini memungkinkan Anda menghasilkan ratusan video, baik itu AI UGC untuk proyek kripto atau pabrik video AI untuk e-commerce. Kami siap membantu Anda dalam hal ini! Hubungi kami untuk mengetahui bagaimana produksi konten AI dapat mengubah bisnis Anda.

  • Google vs. Konten AI: Apa yang Dibawa oleh Pembaruan Spam Agustus?

    Google vs. Konten AI: Apa yang Dibawa oleh Pembaruan Spam Agustus?

    Pembaruan spam Google bulan Agustus baru-baru ini tampaknya menargetkan konten AI yang dihasilkan secara massal untuk SEO. Laporan dari sumber online menunjukkan bahwa sebagian dari pembaruan ini terkait dengan penghapusan materi yang dibuat oleh jaringan saraf semata-mata untuk memanipulasi peringkat pencarian. Hal ini sejalan dengan penelitian Google baru-baru ini yang berfokus pada identifikasi spam semacam itu, yang merupakan petunjuk penting bagi siapa pun yang terlibat dalam video AI untuk iklan atau pembuatan video massal oleh jaringan saraf.

    Penting untuk dipahami: penggunaan AI itu sendiri tidak membuat konten menjadi spam. Namun, materi apa pun yang dibuat dengan tujuan peringkat kata kunci sering kali berada di antara konten biasa dan spam. Tampaknya Google telah menerapkan mekanisme baru untuk mendeteksi konten yang dihasilkan AI yang melampaui batas ini, yang dapat menjelaskan penurunan posisi banyak situs yang secara aktif menggunakan jaringan saraf untuk iklan UGC.

    Dampak pada Konten yang Dihasilkan AI

    Para ahli secara aktif membahas konsekuensi pembaruan tersebut. Misalnya,

    Oka Takuma (@OkaTakuma1) menulis: “Mengenai pembaruan spam Google ini, tampaknya situs yang secara otomatis memublikasikan konten menggunakan Claude Code, Codec, dll., secara universal disaring dan kehilangan peringkat. Mungkin Google secara otomatis mengidentifikasi konten semacam itu dengan melampirkan semacam ‘kredit AI’, mirip dengan gambar atau video yang dihasilkan.”

    Dia juga mencatat bahwa situs yang dimulai dengan publikasi manual dan kemudian beralih ke otomatisasi LLM, dalam beberapa kasus, bertahan. Ini dijelaskan oleh kepercayaan domain yang terakumulasi. Situs yang sepenuhnya dibuat dengan otomatisasi dari awal tidak memiliki “sinyal kepercayaan” dari Google.

    Verifikasi Manual sebagai Penyangga

    Oka Takuma memberikan contoh menarik, menyebutkan majalah Jepang yang memublikasikan konten yang dihasilkan AI yang tidak terpengaruh oleh pembaruan tersebut. Alasannya sederhana:

    “…tetapi sejauh ini belum menerima sanksi apa pun (tentu saja, kami melakukan verifikasi visual manual oleh manusia sebelum memublikasikan artikel).”

    Ini menggarisbawahi pentingnya kontrol manusia, bahkan saat menggunakan teknologi seperti avatar AI dengan subtitle atau narasi suara AI. Verifikasi manual dapat menjadi penyelamat bagi produksi saraf berbasis langganan.

    Seiichi Satoweb (@seiichi_satoweb) percaya bahwa masalahnya bukan pada konten AI itu sendiri, melainkan pada produksi massalnya untuk memanipulasi hasil pencarian. Dia mencatat:

    “Perusahaan yang mengelola media harus memeriksa peringkat dari 18 hingga 21 Agustus. …Jika turun, saya pikir pertama-tama harus mencurigai ‘metode produksi massal’ daripada kualitas artikel.”

    Google mendefinisikan penggunaan konten yang dihasilkan secara massal dengan niat jahat sebagai pembuatan sejumlah besar halaman terutama untuk memanipulasi peringkat pencarian, bukan untuk mendukung pengguna. Ini sangat penting bagi mereka yang mencari produksi konten AI atau tempat memesan untuk kripto layanan serupa.

    • Pembuatan video massal oleh jaringan saraf untuk tujuan SEO bisa berisiko.
    • Klip AI dengan penggantian wajah atau avatar AI dengan subtitle harus melayani tujuan yang nyata.
    • Fokus pada kualitas, bukan kuantitas, adalah kunci untuk bertahan dalam realitas Google yang baru.

    “Sampah AI” dan konsekuensinya

    Di forum, seperti Blackhat World, pengguna mengeluh tentang dominasi “sampah AI” dalam hasil pencarian. Salah satu peserta menulis:

    “Mereka akhirnya menyadari bahwa sampah AI mengambil alih hasil pencarian. Saya baru-baru ini mencari tutorial cepat tentang cara mengubah pengaturan di aplikasi, dan melihat 4 situs berturut-turut, jelas dihasilkan oleh AI untuk membuat artikel yang menjawab pertanyaan ini — semuanya terlihat persis sama, dengan format AI yang sama untuk subjudul dan poin-poin, jarak yang buruk antar bagian, 3 kalimat yang diperluas menjadi 500 kata. Halaman sampah AI adalah pintu masuk baru, dan Google berjuang keras untuk mengatasinya.”

    Ini menegaskan bahwa efektivitas AI versus UGC nyata masih dipertanyakan, jika kita berbicara tentang konten berkualitas rendah. Pembuatan 100 video atau jalur produksi AI 500 video per hari harus didukung oleh strategi kualitas, bukan hanya volume.

    Google melawan konten AI: apa yang dibawa oleh pembaruan spam Agustus? — ilustrasi 2

    Sistem Google yang baru: S-CTS

    Google baru-baru ini menerbitkan penelitian tentang sistem baru yang disebut S-CTS (Scalable Cluster Termination System). Sistem ini dirancang untuk mengidentifikasi dan menghentikan jaringan spam yang dihasilkan AI. Ini berarti bahwa pabrik video AI untuk e-commerce atau pembuatan video dari teks melalui API pembuatan massal sekarang berada di bawah pengawasan ketat.

    Berapa harga satu kreatif AI atau biaya 1 menit video AI — metrik ini sekarang perlu dievaluasi tidak hanya dari sudut pandang produksi, tetapi juga dari sudut pandang potensi risiko SEO.

    Pembaruan spam Google pada bulan Agustus dengan jelas menunjukkan bahwa era pembuatan konten AI massal tanpa berpikir untuk SEO akan segera berakhir. Sekarang, ketika AI UGC untuk proyek kripto atau pembuatan iklan AI menjadi semakin mudah diakses, sangat penting untuk fokus pada kualitas, keunikan, dan nilai nyata bagi pengguna. Bukan hanya jaringan saraf yang menulis skrip dan mengedit, tetapi menciptakan sesuatu yang bermakna dan berguna.

    Bagi mereka yang ingin meningkatkan produksi konten mereka, solusi seperti alternatif Synthesia harus digunakan dengan bijak dan didukung oleh strategi yang tidak bertentangan dengan prinsip-prinsip Google. Hanya dengan begitu kesuksesan yang berkelanjutan dapat dicapai di dunia di mana skalabilitas yang sebelumnya tidak mungkin – kini menjadi mungkin, tetapi dengan mempertimbangkan kualitas.

    Pertanyaan yang Sering Diajukan

    Apa itu “sampah AI” dalam konteks Google?

    “Sampah AI” adalah konten berkualitas rendah yang dihasilkan secara massal oleh kecerdasan buatan, yang dibuat terutama untuk memanipulasi peringkat pencarian, bukan untuk memberikan informasi berharga kepada pengguna. Seringkali ditandai dengan frasa yang berulang, format yang buruk, dan kurangnya orisinalitas, seperti dalam kasus video AI untuk iklan, yang dibuat tanpa pengawasan yang tepat.

    Bagaimana Google membedakan konten AI berkualitas dari spam?

    Google tidak menghukum penggunaan AI itu sendiri. Fokus utama adalah pada tujuan pembuatan konten dan nilainya bagi pengguna. Jika avatar AI dengan subtitle atau sulih suara dengan suara AI digunakan untuk membuat materi yang berguna, unik, dan telah melalui pemeriksaan manusia, ini tidak dianggap spam. Masalah muncul ketika pembuatan video massal oleh jaringan saraf dilakukan semata-mata untuk SEO tanpa mempertimbangkan kualitas.

    Apa itu sistem S-CTS dari Google?

    S-CTS (Scalable Cluster Termination System) adalah sistem baru Google yang dirancang untuk mengidentifikasi dan menghentikan operasi jaringan yang terlibat dalam spam yang dihasilkan AI. Ini adalah alat untuk memerangi operasi produksi konten berkualitas rendah berskala besar yang menggunakan API pembuatan massal untuk membuat ribuan halaman atau video.

    Bisakah AI digunakan untuk membuat konten UGC?

    Ya, jaringan saraf dapat digunakan untuk iklan UGC, tetapi dengan hati-hati. Kunci keberhasilan adalah menciptakan konten yang berharga dan unik yang dianggap asli. Efektivitas AI versus UGC nyata akan tergantung pada seberapa baik AI terintegrasi dengan proses kreatif dan seberapa cermat konten diperiksa oleh manusia untuk menghindari “sampah AI”.