Resumo: Um aplicativo de software integrado recém-desenvolvido combina técnicas de coloração interativas e automatizadas com tecnologia de aprendizado profundo. O aplicativo pode produzir filmes coloridos em preto e branco automaticamente.
Fonte: Universidade de Tecnologia de Graz
Inúmeras fotografias históricas estão armazenadas em preto e branco nos arquivos do mundo. Hoje, esses bens e documentos culturais contemporâneos são preservados por meio da digitalização e (parcialmente) aprimorados por meio da restauração digital. Esforços têm sido feitos desde a década de 1970 para colorir esta filmagem.
No entanto, não houve progresso real: o esforço e os custos associados às técnicas de coloração manuais ou semiautomáticas eram muito altos. Em princípio, é possível colorir filmes de forma totalmente automática. No entanto, isso tem a desvantagem de que as cores podem ser agradáveis aos olhos, mas não são fiéis à realidade.
É exatamente aí que entra o projeto “RE:Color – colorização eficiente de filmes em qualidade cinematográfica baseada em novos métodos de aprendizado de máquina” da Graz University of Technology (TU Graz).
Cientistas da computação liderados por Thomas Pock, do Instituto de Computação Gráfica e Visão, juntamente com a empresa de Graz especializada em restauração de filmes históricos HS-Art, desenvolveram um aplicativo de software integrado que combina técnicas de coloração interativas e automatizadas com aprendizado profundo.
O resultado é um algoritmo para um processo de coloração predominantemente automático, mas totalmente controlado pelo usuário.
coloração realista
Segundo Pock, é fundamental que o ser humano possa influenciar no processo de coloração: “Você sempre precisa de alguém que conheça as tradições históricas, que saiba dizer como eram as roupas, fachadas etc. nesse então. O uniforme do soldado era verde ou azul? Nenhum algoritmo pode decidir isso, mas pode aprender com isso.”
Portanto, o algoritmo deve ser alimentado com uma coleção suficientemente grande de amostras de treinamento para que ele assuma automaticamente a coloração de filmes históricos.
“Trata-se de colorir os filmes da forma mais eficiente possível com o mínimo de intervenção do usuário. Isso pode significar, por exemplo, que uma pessoa especifica a cor de um quadro do filme e o software assume a cor de outros quadros”, explica Pock.
Esse requisito básico de controle guiado pelo usuário é atendido apenas por redes neurais pré-treinadas que podem ser influenciadas dinamicamente pela interação do usuário.
Para fazer isso, os pesquisadores desenvolveram diferentes abordagens inovadoras no campo da coloração automatizada baseada em inteligência artificial (IA).
Juntamente com os desenvolvedores do HS-Art, eles implementaram a abordagem mais eficiente em um aplicativo protótipo e geraram uma coleção suficientemente poderosa de exemplos de treinamento.
A implementação do controle guiado por humanos foi então realizada para obter esquemas de cores autênticos e apropriados.
ruído de imagem real
Com os algoritmos desenvolvidos, os filmes podem ser restaurados de forma extremamente limpa e também colorida, mas isso nem sempre é necessariamente desejável.
Pock: “Com filmagens históricas e filmes teatrais em geral, você precisa de uma certa quantidade de ruído, o chamado ‘grão de filme’, caso contrário, não parecerá autêntico para o público. Por esse motivo, o software também pode gerar artificialmente e adicionar esse ruído de volta após a restauração e a coloração.”
O algoritmo principal foi publicado em um importante simpósio internacional e o código-fonte está disponível gratuitamente. Porém, para uma utilização eficiente, é necessário um software baseado nele, que foi desenvolvido pelo parceiro do projeto HS-Art e está em seu portfólio de produtos.
O “Diamant Film Colorizer” foi usado, por exemplo, na série de documentários ZDFzeit “Hitler’s Power” para colorir imagens históricas fiéis ao original.
Sobre esta notícia de pesquisa de IA
Autor: Susanne Filzwieser
Fonte: Universidade de Tecnologia de Graz
Contato: Susanne Filzwieser – Graz University of Technology
Imagem: A imagem é creditada a HS Art.
