Todo mundo já viu uma imagem ou obra de arte que, rapidamente, fez pensar em alguma outra coisa. Muitas vezes não sabemos explicar por que essa ligação é feita, mas algo nos dois objetos é responsável por isso. Às vezes é a cor, a forma ou até mesmo um tema semelhante.
Pensando nisso, pesquisadores do MIT e da Microsoft desenvolveram um algoritmo de inteligência artificial que combina pinturas do Museu Metropolitano de Arte, em Manhattan, e do Riksmuseum, em Amsterdam por meio dessas conexões ocultas. A inspiração foi uma exposição de museu holandês que uniu pinturas de autores diferentes por interpretações ou estilos semelhantes, como os quadros abaixo, no qual o homem e o cisne estão com posturas semelhantes.
Você viu?
O algoritmo é capaz de encontrar imagens semelhantes a uma selecionada a partir de uma consulta rápida. O exemplo mostrado foi de um vestido azul e branco. Ao ser utilizado, o software encontrou imagens em duas vertentes diferentes. Uma delas foi buscar fotos de trajes de culturas diferentes, enquanto a outra procurou figuras semelhantes em outros tipos de arte, como cerâmica, pintura, entre outras.
O MosAIc, como foi chamado, precisa apenas de uma imagem para encontrar outras estilísticas semelhantes. Segundo Mark Hamilton, principal autor do projeto, o maior desafio foi fazer o algoritmo encontrar não apenas imagens semelhantes em cor e estilo, mas também em significado e tema. Para conseguir isso, foi utilizado uma estrutura de dados chamada K-Nearest Neighbor, que coloca as várias imagens em uma estrutura em forma de árvore, ligando-as conforme a semelhança.
Além disso, os pesquisadores descobriram que esse método pode ser aplicado para descobrir limitações dos algoritmos de deepfake baseados em Rede Gerativa de Adversárias e onde eles falham. Apesar disso, ainda não está claro se ele pode determinar qual imagem é a original e qual é a falsa.