IA permite fazer sincronia labial para que corresponda com a dublagem em outros idiomas

Uma das coisas mais raras de ver filmes dublados em outros idiomas é que a frase que escutamos com frequência não corresponde nada com o movimento dos lábios do ator. Exatamente por isso muitas pessoas odeiam filmes dublados e preferem o original ou os legendados, mas isto está prestes a mudar. Uma companhia chamada Flawless acaba de encontrar uma engenhosa solução: substituir os lábios do intérprete por outros digitais que sincronizem com o idioma.

A tecnologia não é muito diferente à dos denominados deepfakes, só que desta vez parece que encontraram um uso positivo. O software chama-se TrueSync, e o que faz é examinar o movimento da boca de cada intérprete e registrar suas peculiaridades musculares associando cada movimento aos correspondentes sons da fala. Depois cria um clone digital da boca que se move seguindo os sons de cada linguagem, e sobrepõe esse clone à imagem original. O resultado é realmente bom.

Os técnicos da Flawless asseguram que seu software captura todos os matizes da interpretação do ator para preservá-lo completamente inalterados seja qual for a linguagem que fale em cada país.

A verdade é que ver Tom Hanks falando um japonês perfeito numa cena de Forrest Gump (acima) é um pouco, à princípio, estranho, mas tanto nesse idioma como em espanhol (abaixo) resultam surpreendentemente convincentes.

Por trás de todo o assunto, por suposto, segue o debate de se é melhor ver cinema em versão original ou dublado. Minha opinião é que, se a tecnologia o permite, cada qual deveria poder ver cinema no idioma que queira e com a máxima qualidade, seja o seu, o original do filme ou um que esteja aprendendo. O software de Flawless garante essa qualidade.

À criação só vejo dois problemas. O primeiro é que seguramente encareça muito os orçamentos da dublagem a outros idiomas porque requer retocar a imagem em vez de só o áudio. O segundo problema é que terá atores e diretores que não estarão contentes com a ideia de que uma IA meta mão em suas interpretações. O futuro de TrueSync é incerto a nível comercial, mas não posso negar que a ideia e sua execução são fantásticas.