Vidu S2 gera avatar e edita vídeo ao vivo em 720p, e a demo já está aberta para qualquer um testar
A Vidu apresentou o S2, modelo que anima avatares e edita transmissões de vídeo em tempo real a até 42 quadros por segundo. O artigo é da própria empresa e a demo está no ar.
A Vidu, empresa por trás do modelo de geração de vídeo por IA, publicou o artigo técnico do Vidu S2, dividido em dois módulos: Vidu S2-Avatar, que anima personagens interativos, e Vidu S2-Editing, que edita um fluxo de vídeo ao vivo. Segundo o artigo, disponível no arXiv e no Hugging Face, o Avatar gera vídeo em 720p a 25 a 42 quadros por segundo, com resposta a voz e possibilidade de trocar roupa, cenário ou objeto de referência no meio da conversa sem cortar a transmissão.
O modelo aparece como sucessor do Vidu S1, que segundo a própria empresa entregava só 540p. O salto para 720p e a resposta a comandos de voz para controlar movimentos, incluindo dança, são apontados no material da Vidu como o principal avanço em relação à versão anterior. O S2-Editing, por sua vez, recebe uma câmera, vídeo ou imagem como entrada e aplica em tempo real transferência de estilo, troca de roupa (uma espécie de provador virtual), troca de personagem ou de fundo, usando imagens de referência.
A empresa também diz ter alcançado o estado da arte nos cinco testes de comparação públicos usados para avaliar geração de avatar e edição de vídeo, e descreve uma função experimental de vídeo espacial, que converteria os avatares e edições geradas em vídeo estereoscópico para uso em realidade virtual. Uma demo jogável do sistema está publicada em vidu.com/vidu-stream, com documentação de API aberta para integração por desenvolvedores.
Até o momento, os números de desempenho, qualidade e comparação com outros modelos vêm exclusivamente do artigo e do material de divulgação da própria Vidu, sem avaliação independente publicada. O Hugging Face lista uma série de trabalhos concorrentes na mesma linha de edição e geração de vídeo em tempo real, o que indica uma disputa ativa nessa frente de pesquisa, mas nenhum desses papers testou o Vidu S2 de forma comparativa.
O S2 edita vídeo ao vivo trocando roupa, cenário e personagem sem cortar a transmissão
Edição em tempo realO Layer 8 volta ao assunto quando houver novidade.
Todos os números vêm do artigo e do material de divulgação da própria Vidu, sem avaliação externa publicada.
Quem cria conteúdo ao vivo
Ganha uma ferramenta de edição de vídeo que roda durante a transmissão
- O S2-Editing recebe câmera, vídeo ou imagem e transforma o fluxo em tempo real sem parar a transmissão. Fonte: Demo oficial Vidu Stream
- É possível trocar a imagem de referência (estilo, roupa, fundo) no meio da edição. Fonte: Demo oficial Vidu Stream e Hugging Face Papers
Desenvolvedores
Podem integrar o modelo via API aberta pela Vidu
- A Vidu publicou documentação de API para o Vidu Stream em platform.vidu.com. Fonte: Demo oficial Vidu Stream e Hugging Face Papers
- Interpretação · leitura do Layer 8Uma demo aberta e API pública tendem a acelerar testes externos, que ainda faltam para validar os números da empresa.
Evidência▾
Mostramos 2 camadas dessa história. Se ficou alguém de fora, comenta quem é.
Nos comentários do post desta matéria no Instagram, @l8times. Se muita gente apontar a mesma, ela vira uma nova Camada 8.
Entidades Vidu, Vidu S2, Vidu S2-Avatar, Vidu S2-Editing, Vidu S1, Hugging Face, arXiv
Apurada e escrita por IA, verificada contra as fontes linkadas acima. Uma pessoa revisou antes de sair. O público decide a pauta, a IA apura, os fatos não se votam. Esta matéria se lê em 6 cards que você desliza, ou nesta página.
Como o Layer 8 é feito →
