VibeVO – Advertisers and creators in one ecosystem

Tag: avatar de ia

  • Avatar de IA: como dar um rosto a um assistente de voz e evitar armadilhas

    Avatar de IA: como dar um rosto a um assistente de voz e evitar armadilhas

    A integração de um avatar de IA no assistente de voz de IA existente, Aika, não é apenas a adição de um rosto, mas uma série de desafios técnicos. Nosso objetivo era manter a arquitetura atual no Yandex Realtime, para que o novo serviço apenas animasse os lábios para o som já gerado. Durante os testes do Simli e Anam, surgiram nuances com pausas antes da resposta, o lançamento de vídeos no iPhone e a estabilidade da internet móvel. E ao criar o segundo personagem, Eva, ficou claro que a credibilidade da rede neural depende não apenas do rosto em si, mas também do contexto.

    Nosso motor de voz já estava funcionando, então a tarefa era exclusivamente animar o rosto. Aika se comunica com os visitantes do site diretamente no navegador via WebSocket, que está conectado ao nosso servidor FastAPI, que por sua vez mantém uma sessão com o Yandex Realtime. Isso garante o modo “fala para fala”, eliminando a necessidade de cadeias separadas de reconhecimento, modelo de texto e síntese.

    O servidor transmite áudio não compactado no formato PCM16 a 24 kHz para o navegador em partes (pcm_chunk), e era necessário sincronizar a mímica do avatar com esse fluxo.

    Escolha da plataforma para o avatar de IA: Simli vs Anam

    Ambos os serviços testados — Simli e Anam — oferecem um modo onde o usuário fornece seu fluxo de áudio, e o serviço gera um vídeo com um rosto animado, sincronizado com o som, retornando a mídia via WebRTC. Assim, o Yandex continua a gerar a fala, e o serviço de avatar é responsável pelo componente visual.

    Aspectos técnicos da integração de som

    • Frequência de amostragem: O Yandex emite som a 24 kHz. O Simli requer 16 kHz, o Anam também foi configurado para 16 kHz, embora suporte outros formatos.
    • Processamento de áudio-chunks: O som chega em pedaços. Para evitar artefatos nas junções, a posição fracionária e a última amostra são transferidas para o próximo chunk. Isso garante a suavidade da animação, embora a qualidade da recalibração de frequência sem um filtro completo ainda exija melhorias.

    Segurança e gerenciamento de sessões

    A chave do serviço não chega ao navegador. A página solicita um token de sessão de curta duração ao nosso servidor via POST /voice/avatar-session. O servidor verifica a origin e restringe a emissão de tokens: 6 por hora por IP e 30 por hora no total.

    Se o token não for obtido ou o vídeo não iniciar, a página muda para o modo de voz normal. São alocados 8 segundos para a solicitação do token e 15 segundos para o lançamento do SDK. É importante notar que o lançamento bem-sucedido do SDK não garante o aparecimento imediato do primeiro quadro; o rosto aqui é um complemento, não uma função crítica.

    Anam oferece dois comandos principais:

    • endSequence(): chamado após o envio do último fragmento de áudio da réplica.
    • interruptPersona(): interrompe a fala atual do avatar quando interrompido, após o que endSequence() também é chamado.

    Comparação entre Simli (geração antiga) e Anam Cara-4

    Comparamos as versões disponíveis para nós: Simli da geração anterior e Anam Cara-4. Esta não é uma comparação exaustiva de todos os recursos, mas uma seleção para uma tarefa específica.

    Parâmetro Simli (geração anterior) Anam Cara-4
    Expressão facial Os lábios se movem, outras expressões faciais são limitadas Pisca, sorri, dentes visíveis, inclina a cabeça
    Criação de rosto A partir de uma foto via API da geração anterior A partir de uma única foto, vídeo de amostra disponível

    Subjetivamente, o Anam mostrou expressões faciais mais vivas e naturais. Para nós, este foi um fator decisivo. Em seguida, encontramos uma série de problemas específicos.

    Recursos de reprodução de mídia

    • Áudio: No Simli, o áudio era reproduzido através de um elemento de áudio separado; no Anam, através do mesmo elemento de vídeo. Isso significa que o elemento de vídeo do Anam não pode ser deixado muted, caso contrário, o avatar “falará” sem som.
    • Resolução: O vídeo frequentemente começava com baixa resolução (384×576) e só depois de alguns segundos mudava para alta (768×1152). A opção sessionOptions.videoQuality: "high" ajudava, mas não garantia o início com alta qualidade.
    • Atraso na geração de quadros: O Anam precisa receber 0.8 segundos de áudio antes de começar a gerar quadros. Isso nem sempre equivale a 0.8 segundos de espera em tempo real, pois o som pode chegar mais rápido do que é reproduzido.

    Gerenciamento de microfone e sessões

    • Cancelamento de eco: No telefone, enquanto Aika fala, o microfone é desativado para evitar a captura de sua voz pelo alto-falante. No PC, o microfone está ativo, e quando o usuário começa a falar (evento barge_in do Yandex Realtime), o avatar interrompe a fala atual.
    • Slot de sessão ocupado: No plano gratuito, uma sessão simultânea está disponível. Se o navegador travasse, o slot poderia permanecer ocupado. A solicitação GET /v1/sessions/concurrency ajuda a diagnosticar a ocupação dos slots.
    • Cancelamento de conexão: Se o usuário clicar em “parar” durante a conexão de vídeo, é necessário finalizar corretamente as operações assíncronas para não deixar uma sessão desnecessária. Para isso, foi introduzido um contador de gerações videoGen.

    Problemas com o Safari no iPhone

    No iPhone, o vídeo não iniciava no Safari. A hipótese está relacionada às regras de reprodução automática. Uma chamada preliminar de play() no elemento de vídeo com alimentação temporária de fluxo do canvas e remoção do muted ajudou em um teste, mas não é uma solução universal.

    Uma longa pausa antes da resposta de um avatar, que olha silenciosamente para o usuário, é sentida de forma muito mais pesada do que sem ele. Inicialmente, o limiar de silêncio (VAD) foi definido para 2,2 segundos para que Aika não interrompesse os usuários que ditavam informações com pausas.

    Transferimos a lógica da ponte telefônica para o site: em uma conversa normal, o limiar é de 1500 ms, ao ditar – 2200 ms. Isso permite ajustar dinamicamente a sensibilidade do VAD. As configurações são aplicadas via session.update sem reconexão.

    AI-аватар: как добавить лицо голосовому помощнику и избежать подводных камней — illustration 2

    Criação da segunda personagem: Eva

    Para a administradora do estúdio Eva, nos deparamos com o problema da “loira de catálogo” em um fundo vazio. O ponto de virada ocorreu quando um interior apareceu atrás dela: lâmpadas quentes, prateleiras, plantas, um plano de fundo desfocado. Isso tornou a imagem muito mais convincente, transformando o “catálogo” em “uma pessoa no local de trabalho”.

    Detalhes da criação do fundo e do retrato

    • Fundo: Usamos um interior pronto em nosso estilo, removendo pessoas com um gerador.
    • Recorte da personagem: Eva foi recortada usando as ferramentas do macOS Vision (VNGeneratePersonSegmentationRequest com nível .accurate). A borda da máscara foi estreitada e suavizada para eliminar o halo.
    • Escala: É importante observar a escala dos objetos no fundo para evitar situações cômicas (por exemplo, uma caneca gigante atrás dela). O fundo foi tirado apenas acima da bancada e desfocado para uma lente de retrato.
    • Resolução: Para Cara-4, é recomendada uma imagem quadrada de 1152×1152. O aumento puro do Real-ESRGAN ×4 deixava a pele muito lisa. Uma combinação de aumento por rede neural com dimensionamento comum, aumento de nitidez e adição de granulação parecia melhor.

    Dublagem de Eva

    Para Eva, escolhemos uma voz da família LiveTTS do Yandex. No SpeechKit API v3, o modelo é selecionado via "model": "livetts", e a voz e o papel são passados via hints. Para textos longos, o texto era dividido em frases e sintetizado separadamente.

    Das sete opções de dublagem de uma frase, escolhemos a voz vera no papel casual. Tivemos que reescrever a frase, pois a síntese errava consistentemente a acentuação.

    Gravação de vídeos com avatar

    O vídeo de Eva foi gravado usando o mesmo motor de animação que a chamada ao vivo, usando MediaRecorder diretamente de video.srcObject (vídeo e áudio juntos, WebM com VP9 e Opus). Para um início correto da gravação, o fluxo era previamente “acordado” com um segundo de silêncio, para que o vídeo não começasse com uma tela preta.

    Perguntas frequentes

    O que é um avatar de IA e como ele funciona?

    Avatar de IA — é um personagem digital capaz de animar expressões faciais e movimentos labiais de acordo com o áudio fornecido. Ele usa redes neurais para criar uma imagem visual realista que se sincroniza com a fala, tornando a interação mais natural e atraente.

    Posso usar minha voz para um avatar de IA?

    Sim, a maioria das plataformas, como Anam e Simli, permite que você use seu próprio motor de voz ou áudio pré-gravado. O avatar animará o rosto de acordo com esse fluxo de áudio, mantendo o reconhecimento de sua marca ou persona.

    Quais são as principais dificuldades na integração de um avatar de IA?

    Entre as principais dificuldades estão a sincronização de áudio e vídeo, o processamento de blocos de áudio, a otimização de latências, a garantia de operação estável em vários dispositivos (especialmente móveis) e a criação de uma imagem visual convincente que corresponda ao contexto e à marca.

    Como o fundo afeta a percepção de um avatar de IA?

    O fundo desempenha um papel crítico na criação de uma imagem convincente. Um fundo vazio ou inadequado pode fazer o avatar parecer não natural. Um interior que corresponda ao estilo do personagem ou da marca aumenta significativamente o realismo e a confiança no avatar, criando a sensação de uma “pessoa no local de trabalho”.

    Quanto custa criar um avatar de IA?

    O custo de criação de um avatar de IA pode variar muito dependendo da plataforma escolhida, do nível de personalização, da detalhe das expressões faciais e da necessidade de funções exclusivas. Alguns serviços oferecem modelos de assinatura, enquanto outros podem cobrar por cada minuto de vídeo gerado ou pelo desenvolvimento de um personagem único.

    Conclusão

    A integração de um avatar de IA é uma ferramenta poderosa para aumentar o engajamento do usuário, mas requer um profundo desenvolvimento técnico. Desde a escolha da plataforma até o ajuste fino de fundos e pausas – cada etapa afeta o resultado final. Vimos que as redes neurais são capazes de dar nova vida às interfaces de voz, mas apenas com atenção cuidadosa aos detalhes.

    Se você deseja escalar seu conteúdo e criar vídeos de IA para publicidade, considere as possibilidades da produção neural por assinatura. Isso permite gerar centenas de vídeos, seja UGC de IA para um projeto de criptomoeda ou uma fábrica de vídeos de IA para e-commerce. Estamos prontos para ajudá-lo nisso! Entre em contato conosco para saber como a produção de conteúdo de IA pode transformar seu negócio.

  • Como criar vídeos profissionais com IA usando Gemini Omni: Um guia completo

    Como criar vídeos profissionais com IA usando Gemini Omni: Um guia completo

    Quer criar vídeos profissionais sem filmar ou contratar uma equipe? Está se perguntando como usar vinhetas de vídeo geradas por IA para atrair atenção nas redes sociais? Neste artigo, você aprenderá como usar o Google Gemini Omni para criar um avatar de IA, produzir ganchos de vídeo cativantes, editar material existente e montar vídeos longos a partir de clipes de 10 segundos. Não há mais necessidade de quebrar a cabeça escolhendo um contratado ou gastar nervos procurando especialistas – tudo isso pode ser feito em um só lugar, reduzindo custos e tempo.

    Introdução: A Revolução na Produção de Vídeo com o Google Gemini Omni

    No mundo moderno, onde o conteúdo visual domina, a criação de vídeos de alta qualidade torna-se um fator chave de sucesso para marcas e criadores de conteúdo individuais. No entanto, a produção de vídeo tradicional geralmente envolve altos custos e processos complexos. É aqui que o Google Gemini Omni entra em cena, oferecendo uma solução revolucionária. Esta ferramenta permite criar vídeos profissionais usando tecnologias avançadas de inteligência artificial, tornando o processo acessível, rápido e economicamente viável.

    O que é o Google Gemini Omni (OmniFlash)?

    O Google Gemini Omni, oficialmente conhecido como OmniFlash, é o sucessor do Veo3 – o primeiro gerador de vídeo de IA do Google. O Omni é construído com base nos “modelos mundiais” do Google, que foram treinados em uma vasta biblioteca de vídeos do YouTube. Esse treinamento lhe deu uma compreensão única de movimento, ambiente, pessoas e entonações de fala, o que o diferencia de outras ferramentas de IA para vídeo.

    Graças a isso, você obtém vídeos únicos e de alta qualidade que são difíceis de distinguir dos filmados por profissionais. O OmniFlash abre novos horizontes para a criação de conteúdo, permitindo que os usuários concretizem as ideias mais ousadas sem a necessidade de equipamentos caros ou habilidades especializadas.

    Acesso ao Gemini Omni: Níveis e Planos

    O Omni está disponível em várias plataformas, tornando a criação de vídeos de IA acessível em diferentes níveis. A maneira mais fácil é através do aplicativo Gemini, disponível em dispositivos desktop e móveis. Dentro da interface de chat do Gemini, ao clicar no botão “mais”, você verá a opção “Vídeo”, que inicia o Omni em segundo plano.

    • Aplicativo Gemini: Ideal para iniciantes. Assinatura a partir de $20/mês.
    • Google Labs: Para funções avançadas de edição e modificação.
    • Agregadores de terceiros: Open Art e Higgs Field, que combinam vários modelos de IA.

    De acordo com Eva Whitaker, uma assinatura básica do Gemini por $20 por mês é suficiente para começar. O plano “ultra” mais caro, por $200 por mês, inclui acesso a todas as ferramentas do Google, mas a maioria dos usuários não precisará dele imediatamente. Os créditos são gastos a cada geração, e resoluções mais altas e clipes mais longos exigem mais créditos.

    Começando com o plano mais baixo e comprando créditos adicionais conforme necessário, você pode controlar os gastos.

    “Para aqueles que levam a sério a produção de vídeo com IA, Eva recomenda combinar uma assinatura direta do Google Labs com um agregador de terceiros. O agregador fornece acesso a vários modelos de IA a partir de um único painel, enquanto o Google Labs abre os recursos completos de edição do Omni.”

    Criação de avatar de IA: seu gêmeo digital

    Ao contrário dos clones criados pelo HeyGen, que geram vídeos de “talking head” a partir de um roteiro longo, um avatar é um “gêmeo de IA”: uma representação digital de uma pessoa real que pode ser colocada em qualquer cena ou roteiro usando prompts de texto. Isso permite tornar o conteúdo único e o mais personalizado possível.

    Processo de criação de avatar

    O processo de criação de um avatar leva cerca de cinco minutos. Abra o aplicativo Gemini no seu telefone, toque no botão “mais” e role até “avatar”. O aplicativo o guiará por uma sequência de captura semelhante ao Face ID: olhe para a esquerda, direita, para cima, para baixo. Em seguida, ele exibirá frases sem sentido para você ler em voz alta para gravar sua voz.

    O texto propositalmente estranho foi projetado para capturar padrões de fala naturais sem pensar demais na pronúncia.

    • Iluminação: A luz natural funciona melhor.
    • Áudio: Minimize o ruído de fundo para uma gravação de voz limpa.
    • Roupas: Escolha uma roupa versátil, pois ela se tornará a roupa padrão.
    • Chapéus e óculos: Evite-os durante a gravação para que a IA não distorça o rosto.
    • Tom de voz: Fale naturalmente para manter a flexibilidade em futuras gerações.

    Uma vez criado e nomeado, o avatar é sincronizado entre as plataformas. Isso significa que um usuário que criou seu avatar no telefone também pode invocá-lo no Google Labs no desktop digitando o símbolo “@” seguido do nome do avatar.

    Prompts eficazes para vídeo de IA: A fórmula de quatro elementos

    As instruções eficazes para vídeos de IA seguem o que Eva Whitaker chama de “fórmula de quatro elementos para instruções”: sujeito, ação, ambiente e câmera. O Omni responde bem à linguagem natural, o que significa que os dias de formatação de instruções em JSON ou sintaxe codificada acabaram.

    1. Sujeito: Quem ou o que aparece no vídeo (por exemplo, @nome_do_avatar).
    2. Ação: O que o sujeito está fazendo (dançando, falando para a câmera).
    3. Ambiente: Onde a ação ocorre (uma praia no México, uma cozinha).
    4. Câmera: A posição e o movimento da câmera em relação ao sujeito.

    Eva aconselha começar simples e iterar. Por exemplo, se a primeira geração posiciona o sujeito muito longe da câmera, a próxima instrução adiciona: “ela está perto da câmera” ou “ela se aproxima da câmera”. Cada geração mostra como o Omni lida com diferentes tipos de instruções.

    Incluir um roteiro na instrução é crucial. Sem ele, o Omni gerará seu próprio diálogo, o que às vezes leva a acasos interessantes, mas mais frequentemente a áudio inutilizável.

    Como criar vídeos de IA profissionais com Gemini Omni: Guia completo — ilustração 2

    Criação de ganchos de vídeo envolventes para redes sociais

    O principal caso de uso que Eva recomenda para o Gemini Omni é a criação de ganchos que chamam a atenção para vídeos curtos no TikTok, Instagram, YouTube Shorts e outras plataformas. O conceito é simples: grave um vídeo padrão de “talking head” da maneira tradicional e, em seguida, use o Omni para criar um gancho visualmente impressionante de 2-3 segundos para abrir o vídeo. Isso permite atrair o público da forma mais rápida e eficaz possível.

    Exemplos de ganchos e processo de criação

    Eva criou ganchos onde seu avatar é coberto de gosma da Nickelodeon, tem um bolo jogado no rosto enquanto veste um vestido de noite, está em um parque onde bolas de tênis caem do céu, cavalga um búfalo antes de um anúncio de venda de casa, paraquedismo em um gramado ao lado de uma placa de “vende-se” e anda em uma bancada de cozinha como um avatar de seis polegadas, dizendo: “A única coisa pequena nesta cozinha sou eu”.

    A velocidade de criação faz parte do apelo. Eva criou um gancho de cavalgada de búfalo enquanto esperava na fila do café: ela abriu o aplicativo Gemini em seu telefone, chamou seu avatar, pediu para ele cavalgar um búfalo na frente de um anúncio de venda de casa, usando uma foto do Zillow como imagem de referência, e teve o clipe pronto no momento em que pegou seu pedido. Esse fluxo de trabalho móvel permite criar ganchos polidos em qualquer lugar, sem um computador de mesa ou software de edição.

    O método “Capitão Óbvio” para ideias criativas

    Eva usa LLMs para gerar conceitos de ganchos de vídeo de IA, em vez de criá-los sozinha. O processo inicial começa com a descrição de um tópico e a solicitação de ganchos visuais criativos. As sugestões iniciais de qualquer LLM tendem a ser previsíveis, e é aí que entra a técnica “Capitão Óbvio” de Eva.

    Este método permite direcionar o LLM de suas sugestões padrão e previsíveis para ideias mais criativas e distintas. Quando o LLM sugere um visual previsível, como uma pessoa sentada em um computador com muitas abas abertas para representar “sobrecarga de IA”, Eva diz a ele:

    “Isso é muito óbvio. É algo que qualquer um poderia ter pensado. Dê-me algo mais inteligente, mais criativo, algo que faça as pessoas pararem e pensarem: ‘O que foi isso?’”

    Este redirecionamento consistentemente leva a conceitos mais criativos e distintos. Ao combinar um gancho gerado por IA com um vídeo tradicionalmente filmado de uma cabeça falante, a continuidade visual é importante. Se o avatar aparecer com roupas diferentes das do vídeo, a transição parecerá abrupta. A solução de Eva é fazer uma captura de tela do vídeo e carregá-la como uma imagem de referência, pedindo então ao Omni para vestir o avatar com as mesmas roupas. Os clipes de gancho e o vídeo da cabeça falante são então editados juntos no CapCut, no aplicativo Instagram Edits ou em uma ferramenta semelhante.

    Editando vídeos existentes com Gemini Omni

    O Gemini Omni pode modificar vídeos existentes usando prompts de linguagem natural, tornando a edição, que antes exigia um editor profissional, acessível a qualquer pessoa. Essas capacidades, disponíveis através do Google Labs e plataformas agregadoras, vão muito além da simples geração. Filmagens reais, tiradas com um telefone ou geradas por IA, podem ser carregadas e transformadas com uma descrição de texto da modificação desejada. Isso permite economizar orçamento na pós-produção e obter resultados rápidos.

    Recursos de edição

    • Mudança de ambiente: Um parque de verão pode ser transformado em um parque de inverno com um único prompt.
    • Adição de gráficos em movimento: Em um vídeo de culinária, legendas animadas com nomes de ingredientes podem ser adicionadas.
    • Mudança de roupa do sujeito: Um personagem pode mudar de roupa a seu pedido.
    • Remoção de objetos da cena: Remova elementos indesejados do quadro.
    • Transformação de uma pessoa em uma versão de desenho animado: Crie um estilo visual único.
    • Mudança completa de fundo: Um vídeo de uma cabeça falante pode ser transportado para uma praia ou um estúdio de notícias.

    Dica: O vídeo carregado para edição deve ser cortado para 10 segundos ou menos. O Omni fornece uma ferramenta de corte integrada, para que filmagens mais longas possam ser cortadas para o segmento apropriado antes de aplicar as modificações.

    Criação de vídeos longos a partir de clipes de 10 segundos

    A limitação de geração de 10 segundos não impede a criação de conteúdo de vídeo de IA mais longo. Isso requer planejamento prévio e um editor de terceiros. Para um vídeo de 90 segundos, a abordagem é gerar nove clipes de 10 segundos e montá-los. O ponto chave é planejar como o último quadro de cada clipe se parece e como ele transita para o primeiro quadro do próximo clipe.

    Eva sugere usar um LLM para esse planejamento, dando-lhe o conceito completo e indicando as restrições: “crie um vídeo de 90 segundos para mim, composto por segmentos de 10 segundos, e me dê recomendações de transição”. O LLM sugerirá estratégias de transição e ajudará a planejar cada segmento.

    Perguntas Frequentes

    Aqui reunimos as respostas para as perguntas mais frequentes sobre o Google Gemini Omni.

    Como começar a usar o Gemini Omni?
    Comece com o aplicativo Gemini, disponível em desktops e dispositivos móveis. Uma assinatura a partir de US$ 20/mês permitirá que você explore os recursos principais. Para recursos mais avançados, considere o Google Labs ou agregadores de terceiros.
    Quais são as limitações do Gemini Omni?
    A principal limitação no aplicativo Gemini é o limite de gerações (cerca de 5-6 vídeos por hora). O Google Labs e os agregadores oferecem limites mais generosos. Os avatares são limitados a clipes de 10 segundos, que precisam ser editados para criar vídeos mais longos.
    Posso usar meu avatar em diferentes plataformas?
    Sim, após a criação, o avatar é sincronizado entre as plataformas. Você pode criá-lo no telefone e usá-lo no Google Labs no computador.
    Como obter um avatar de alta qualidade?
    O ambiente de gravação desempenha um papel importante: iluminação natural, ruído de fundo mínimo, roupas versáteis. Evite chapéus e óculos durante a gravação. Fale naturalmente para manter a flexibilidade em futuras gerações.
    Como o Gemini Omni ajuda a economizar orçamento?
    O uso de ferramentas de IA, como o OmniFlash, permite substituir uma equipe por um serviço, reduzindo os custos de produção de vídeo. Você pode encomendar um ciclo completo de produção de vídeo em um só lugar, desde a criação do avatar até a edição e postagem, o que é significativamente mais barato do que contratar especialistas individuais.

    Conclusão: Ciclo completo de produção de vídeo turnkey

    O Google Gemini Omni (OmniFlash) é uma ferramenta poderosa para criar vídeos profissionais usando IA. Ele permite não apenas gerar avatares únicos e ganchos cativantes, mas também editar vídeos existentes e montar vídeos longos a partir de segmentos curtos. É a solução ideal para quem deseja um ciclo completo de produção de vídeos curtos, promoção abrangente por meio de vídeos e terceirização de conteúdo para redes sociais, substituindo uma equipe de SMM por um único serviço.

    Comece a usar o Gemini Omni hoje mesmo para economizar seu orçamento e seus nervos, criando conteúdo de vídeo de alta qualidade que realmente atrai a atenção do público. Peça tudo em um só lugar e veja a eficácia desta abordagem!