O Lumiere é uma nova tecnologia que usa IA para criar vídeos realistas desenvolvido em conjunto por pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv — os dois últimos de Israel. O diferencial deste modelo está na capacidade de gerar vídeos com movimentos mais coesos e precisos, tentando romper um obstáculo encontrado por outros concorrentes do segmento.
- 10 IAs para criar vídeo a partir de fotos ou texto
- Art Selfie 2 usa IA para colocar suas fotos em pinturas famosas
Os pesquisadores definem o Lumiere como um “modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes”. Para isso, usa uma estrutura chamada Space-Time U-Net, voltada para gerar toda a duração do vídeo de uma só vez — outros modelos de difusão adotam uma abordagem que sintetizam os frames de forma distinta.
Como resultado, o novo modelo é capaz de criar vídeos com uma taxa de quadros estável e completa, mesmo que em baixa resolução.
-
Podcast Porta 101
: a equipe do Canaltech discute quinzenalmente assuntos relevantes, curiosos, e muitas vezes polêmicos, relacionados ao mundo da tecnologia, internet e inovação. Não deixe de acompanhar.
-
O que o Lumiere é capaz de fazer
Assim como outros concorrentes, o Lumiere cria vídeos a partir de comandos de texto ou da animação de imagens estáticas, mas a ferramenta possui alguns diferenciais:
Geração estilizada
O Lumiere consegue entender o padrão de uma imagem e criar vídeos com o mesmo estilo visual. Ao enviar uma imagem de referência em 3D com o fundo azul claro, a IA compreende que todas as criações subsequentes seguem o mesmo estilo visual.
Isso pode ser útil para quem só possui uma foto de inspiração e não consegue descrever o apelo visual num prompt de texto, por exemplo.
Cinemagrafia
A cinemagrafia é uma prática que permite animar apenas um fragmento da imagem, enquanto o resto permanece estático. O novo modelo faz uso dessa técnica para criar movimento e ou até substituir uma parte de um vídeo existente por outra.
Um dos exemplos mostrados pelos pesquisadores é o trecho de uma mulher andando por um campo: é possível selecionar apenas a pessoa e trocar a roupa que ela usa no vídeo a partir dos prompts de texto. O recurso também pode ser usado para aplicar novos estilos de vídeo sem perder o plano de fundo original.
Ainda sem demonstrações
Por enquanto, o Lumiere não foi disponibilizado para testes ou demonstrações ao público, e ainda não há uma previsão para que isso aconteça. Vale lembrar que esse não é o primeiro modelo de IA para vídeos com envolvimento do Google: a Gigante de Mountain View lançou o VideoPoet no final do ano passado , com o objetivo de criar conteúdos mais longos do que as ferramentas convencionais.
Leia a matéria no Canaltech .
Trending no Canaltech:
- Por que ninguém sentiu o terremoto de 6,6 graus no Brasil?
- Quais celulares Galaxy terão 7 anos de Android atualizado?
- Não é o Thanos: Marvel revela nas HQs qual vilão vence os Vingadores
- Anomalia Magnética que atinge o Brasil está no planeta há milhões de anos
- One UI 6.1 | 12 funções mais legais do Android da Samsung
- Max | Reformulação da HBO Max já tem data e aumento de preço