Geralmente, são necessários softwares poderosos e artistas de efeitos visuais talentosos para obter de forma convincente o efeito em que um ator filmado contra uma tela verde é inserido em outra cena. Mas pesquisadores da netflix eles dizem que têm chegar a um muito mais fácil, e potencialmente mais precisotécnica de tela verde tirar proveito da operação de câmeras digitais– com uma pitada de IA.

Substituir o fundo de cenas em que os atores foram filmados contra um fundo de cores vivas é uma técnica usada por Hollywood, e até mesmo pelas notícias locais, há décadas, pois é uma alternativa muito mais rápida para um artista que precisa extrair cuidadosamente um ator por meio de um rotoscopia. um clipe de mão. Fundos verdes claros ou azuis claros são geralmente usados, pois são cores que não aparecem naturalmente em tons de pele humana, então quando os algoritmos do software fazem seu trabalho, os atores não acabam sendo removidos automaticamente também.

No entanto, a técnica típica de tela verde apresenta alguns desafios. O talento na tela pode não usar maquiagem ou roupas que combinem com a cor do fundo, e uma limpeza adicional geralmente é necessária na pós-produção para remover um brilho colorido ao redor do talento. Extrair detalhes finos, como fios de cabelo, de imagens em tela verde também pode ser um desafio, assim como lidar com objetos transparentes como janelas que não podem desaparecer completamente, apesar do fundo verde aparecer.

Mais tempo necessário na pós-produção para corrigir esses tipos de problemas também aumenta o custo de conclusão de uma tomada, por isso faz sentido que uma empresa como a Netflix queira encontrar maneiras de tornar o processo de tela verde mais fácil e rápido. Mas a técnica alternativa que os pesquisadores da empresa criaram quase parece contra-intuitiva quando você vê a aparência real da filmagem da tela verde capturada.

Um fundo verde brilhante ainda é usado, mas a iluminação do primeiro plano (que em testes veio de uma tela gigante de LED envolvente) banha os atores, adereços e cenários em uma mistura de luz azul e vermelha para que todos pareçam ter uma tonalidade magenta pesada . Ao olho humano, a filmagem parece ruim, mas para uma câmera digital cujos pixels do sensor registram o nível de luz vermelha, verde e azul detectada em uma cena, a estranha iluminação acaba produzindo um canal verde onde os atores e objetos na cena primeiro plano da cena são perfeitamente recortados contra um fundo brilhante e uniforme.

O canal verde da filmagem digital capturada pode ser facilmente usado para criar o que é conhecido como canal alfa, uma imagem em preto e branco que define quais partes de cada quadro devem permanecer e quais devem ser removidas e substituídas por outras filmagens. A nova técnica funciona até mesmo com objetos transparentes, como a garrafa de vidro que um dos artistas está segurando nas imagens de teste, garantindo que a substituição do fundo também apareça através da garrafa, assim como aconteceria na vida real. .

Há, é claro, um problema muito óbvio com essa técnica. Para lidar com a tonalidade magenta brilhante de tudo na frente da tela verde, os pesquisadores da Netflix empregaram uma “técnica de coloração de aprendizado de máquina” que treina imagens adicionais em close do assunto filmadas em iluminação branca tradicional para informar o modelo de IA como tudo é. suposto olhar e como remover a tonalidade, após o fato.

Além de ser potencialmente mais rápida com resultados mais precisos, a nova técnica tem outra grande vantagem: ela não limita o que o talento na tela pode usar. Nas imagens de teste, um artista é visto usando um vestido verde e segurando uma garrafa de vidro verde e nenhum dos dois desaparece quando o fundo verde é substituído.

Mas a técnica também apresenta alguns novos desafios. Ter tudo no set tingido de magenta pode tornar mais difícil para a equipe visualizar e visualizar as filmagens durante o set, e a técnica não funciona em tempo real, como os sistemas empregados pelos meteorologistas costumam fazer. mapa. . Os pesquisadores estão trabalhando em técnicas para colorir imagens corretas em tempo real para facilitar as visualizações no set e, mesmo que os resultados não sejam perfeitos para a equipe, os compromissos podem valer a pena se o produto final for ainda mais brilhante. público. .