Como Peter Jackson usou IA para restaurar o vídeo e o áudio de 'Get Back'

Muito tem sido feito nos últimos anos sobre os processos de "redução de envelhecimento" que permitem aos atores interpretarem personagens muito mais jovens do que eles são. Mas também se tornou possível diminuir a idade do próprio filme, conforme demonstrado pela celebrada nova série documental de Peter Jackson, "The Beatles: Get Back". A grande maioria do material que compreende suas quase oito horas de duração foi originalmente filmado em 1969, sob a direção de Michael Lindsay-Hogg para o documentário que se tornou "Let It Be".

Aqueles que viram os documentários de Linday-Hogg e Jackson vão notar como a mesma filmagem parece mais nítida, suave e vívida neste último, apesar do filme de dezesseis milímetros ter definhado por meio século. O tipo de restauração e aprimoramento visual visto em "Get Back" foi possibilitado por tecnologias que surgiram apenas nas últimas décadas, e vistas anteriormente em "Eles não envelhecerão", um documentário aclamado por sua restauração da filmagem centenária da Primeira Guerra Mundial a um grau de verossimilhança semelhante a uma viagem no tempo.

- "Na verdade, você não pode simplesmente fazer isso com um software pronto para uso", explicou Jackson em uma entrevista sobre os processos de restauração envolvidos nos dois documentários. Na verdade você pode fazer isso com software pronto sim e muito provavelmente foi o que ele fez, mas está querendo "reinventar a roda" e não dar os créditos devidos.

Só para que tenham uma ideia existem centenas de modelos treinados com aprendizagem profunda, que podem ser usados livremente em projetos não comerciais. Se você obtiver permissão para usar um modelo, inclusive comercialmente, você ainda deve dar crédito ao autor e fazer um link para a fonte do modelo original.

Jackson também fala sobre o tratamento menos óbvio, mas não menos impressionante: o de áudio. Gravadas em grande parte com apenas um canal, essas fitas apresentaram um desafio de produção formidável. Os instrumentos de John, Paul, George e Ringo compartilham uma única faixa com suas vozes, e não apenas as vozes cantadas, mas também as faladas. Na primeira audição, isso torna muitas de suas conversas inaudíveis.

Esse meio de ocultar Lindsay-Hogg e sua equipe funcionou bem o suficiente no final da década de 1960, totalmente analógico, mas não se mostrou páreo para a inteligência artificial e aprendizado de máquina da década de 2020.

- "Nós desenvolvemos uma tecnologia que é chamada de demixing", disse Jackson. - "Você ensina ao computador como soa uma guitarra, uma voz humana, uma bateria ou um baixo." A tecnologia de "demixagem" por Inteligência artificial já existe por pelo menos a uma década. E se fornecido com dados sônicos suficientes, o sistema acaba aprendendo a distinguir um do outro não apenas os sons dos instrumentos, mas também de vozes. Mais uma vez, Jackson não desenvolveu nada.

Portanto, além dos momentos musicais reveladores de "Get Back", suas muitas conversas antes privadas, agora são nitidamente audíveis.

- "Oh, você está gravando nossa conversa?", pergunta George Harrison a certa altura a Lindsay-Hogg em um tom característico de falsa surpresa. Mas se ele pudesse ouvir as gravações hoje, sua surpresa certamente seria real.