Paula Viana, docente do ISEP e investigadora do INESC TEC, está a coordenar uma equipa do projeto FotoInMotion (FiM), integrado no programa comunitário Horizonte 2020.
O FiM consiste numa ferramenta que introduz uma forma inovadora de transformar uma única fotografia num vídeo de alta qualidade, com efeitos dinâmicos de storytelling e branding.
A ferramenta pode ser utilizada em desktop e mobile, permitindo aos produtores de conteúdo audiovisual e ao público criativo, através de conteúdo estático (fotografia), produzir um clip de vídeo capaz de contar uma história adequada ao contexto em que a imagem foi capturada. Para concretizar este processo inteligente de storytelling é feita uma edição automatizada e são adicionados efeitos dinâmicos, através de técnicas de inteligência artificial, visão por computador, machine learning, crowdsourcing, sendo ainda recolhida informação proveniente de sensores existentes nos dispositivos de captura. Assim, de forma rápida e automática o FiM tem em conta o conteúdo existente numa fotografia e permite dar relevância aos diversos objetos nela contidos. A sua aplicação é especialmente importante ao permitir a reutilização de conteúdos multimédia estáticos, que podem ser transformados, de forma automática e sem custos, numa animação para as redes sociais ou para um portal Web. A grande variedade de efeitos artísticos que podem ser aplicados às imagens foram especificamente pensados para envolver o espetador e criar histórias apelativas e adaptadas ao contexto e cenário de aplicação.
Desta forma, “ao contrário do que já fazem algumas aplicações existentes, que adicionam movimento ou efeitos aleatórios ou pré-definidos, o FiM permite criar animações de forma inteligente, através animações (movimentos, zoom in/out) e efeitos (filtros, efeitos 3D, etc) que se adaptam ao conteúdo e contexto da fotografia em questão”, explica Paula Viana. “Por outro lado, evita também a necessidade de utilizar ferramentas de edição de vídeo complexas, automatizando todo o processo criativo”, acrescenta.
O FotoInMotion tem como alvo três indústrias criativas: Fotojornalismo, Moda e Organização de Festivais/Eventos. No entanto, pode ser adaptado a qualquer outra área em que existam conteúdos fotográficos. Quanto aos principais benefícios da ferramenta, a docente do ISEP refere que estes estão associados à “rentabilização dos acervos fotográficos das empresas e organizações, que passam a poder montar muito rapidamente uma campanha de publicidade e marketing ou uma animação para as redes sociais ou websites”. Por exemplo, “num desfile de moda de uma marca que produz joias, as ferramentas FiM permitem identificar e destacar objetos relevantes, como brincos e colares, e identificá-los nas fotografias que foram tiradas. As fotografias são adquiridas com a FiM mobile App e são também recolhidos os dados contextuais e informação de GPS, permitindo identificar a cidade onde o desfile está a acontecer e o nome da marca. Uma vez que as fotografias e metadata são carregados para o repositório FiM, a marca pode criar, rapidamente e de forma automática, um vídeo curto sobre o evento. Com base nos modelos personalizados para moda/joalheria, as ferramentas criativas começam por introduzir, por exemplo, efeitos de zoom em cada um dos objetos de joalheria, navegando na foto do objeto maior para o menor".
Apesar de o FotoInMotion ainda estar em fase de desenvolvimento, já existe uma aplicação disponível para download na App Store, que tem como principal objetivo a recolha de dados, para otimizar os algoritmos. Em curso está também uma experiência alargada que envolve um número significativo de utilizadores das áreas do Fotojornalismo, Moda e Eventos, de forma a testar a versão existente da App, que integra grande parte das funcionalidades que estarão disponíveis na versão final. As versões web e mobile que permitem usufruir de todas as potencialidades da ferramenta, ainda não foram distribuídas para utilização generalizada. Relativamente às perspetivas futuras para o FiM, a docente destaca que “estão a ser avaliadas diversas formas de exploração e licenciamento dos resultados”.
Paula Viana explica que a equipa que coordena tem tido um papel muito relevante. “As nossas ferramentas são consideradas essenciais e são parte central do projeto, pois é a partir da informação que geramos que as histórias e animações podem ser construídas”. “Os parceiros do consórcio e os avaliadores da Comissão Europeia têm apreciado e elogiado o trabalho da equipa”, acrescenta.
O projeto FotoInMotion teve início há dois anos e meio e termina em dezembro de 2020. A equipa coordenada por Paula Viana inclui ainda Pedro Carvalho, docente convidado do ISEP; Luís Vilaça, bolseiro e estudante de Mestrado em Engenheira Eletrotécnica e de Computadores do ISEP; Inês Teixeira, bolseira ISEP; assim como Teresa Andrade, docente da FEUP e Tiago Costa e Hélder Castro, bolseiros FCT. A equipa contou ainda com a colaboração de José Pedro Pinto, Alumni do Mestrado em Engenharia Eletrotécnica e de Computadores do ISEP.