O padre católico e podcaster Padre Mike Schmitz informou à sua congregação no YouTube, com mais de 1,2 milhão de inscritos, em novembro, que deepfakes de inteligência artificial estavam se passando por ele em uma tentativa de enganá-los. Schmitz alertou seus seguidores que eles "nem sempre podiam confiar nas palavras que saíam de sua boca", porque às vezes não eram realmente sua boca ou suas palavras.

Os deepfakes apresentavam uma versão digitalmente fabricada de Schmitz solicitando orações e bênçãos em troca de clicar em um link. Em um caso, o falso Schmitz, com uma ampulheta pairando atrás dele, exortou os espectadores a "agir rapidamente, porque as vagas para enviar orações já estão se esgotando", disse outro falso Schmitz com uma ampulheta pairando atrás dele. "E a próxima viagem só acontecerá em quatro meses." O verdadeiro Schmitz, baseado em Duluth, Minnesota, incluiu exemplos das imitações geradas por IA em seu anúncio de serviço público, destacando a sutil qualidade robótica da voz.

Deepfakes são mídias sintéticas nas quais uma pessoa em uma imagem ou vídeo existente é substituída pela imagem de outra pessoa usando inteligência artificial. Essas falsificações geradas por IA tornaram-se cada vez mais sofisticadas, tornando difícil para a pessoa comum distingui-las do conteúdo autêntico. A tecnologia se baseia em algoritmos de aprendizado de máquina, especificamente aprendizado profundo, para analisar e replicar as expressões faciais, a voz e os maneirismos de uma pessoa. Isso permite que agentes maliciosos criem vídeos e gravações de áudio falsos convincentes para vários fins enganosos, incluindo fraude, campanhas de desinformação e roubo de identidade.

A ascensão da tecnologia deepfake representa um desafio significativo para a sociedade, corroendo a confiança na mídia digital e levantando preocupações sobre o potencial de manipulação. Especialistas alertam que a crescente acessibilidade das ferramentas de criação de deepfakes pode levar a uma proliferação de golpes visando populações vulneráveis.

Schmitz reconheceu a dificuldade que as pessoas têm em discernir o real do falso. "Eu posso olhar para eles e dizer 'Isso é ridículo, eu nunca diria isso'", disse Schmitz. "Mas as pessoas não podem necessariamente dizer. Isso é um problema."

Agências de aplicação da lei e empresas de tecnologia estão trabalhando para desenvolver métodos para detectar e combater deepfakes. Esses esforços incluem a criação de algoritmos que podem identificar inconsistências sutis em mídias sintéticas e educar o público sobre os riscos associados aos deepfakes.