Vulnerabilidade permite exibir mensagens de phishing através de injeção de prompts

Uma vulnerabilidade no assistente de inteligência artificial Google Gemini para Workspace permite que atacantes injetem mensagens de phishing nos resumos de emails gerados pela ferramenta, fazendo-as passar por conteúdo fiável. A falha foi identificada pelo investigador Marco Figueroa e reportada através do programa 0Din da Mozilla, uma iniciativa focada na segurança da IA generativa.

O ataque recorre a uma técnica de manipulação visual e semântica. O atacante envia um email com uma mensagem de phishing escrita em branco sobre fundo branco, tornando-a impercetível para o olho humano. Este texto malicioso é encapsulado entre as tags especiais <admin>, o que, aparentemente, induz o Gemini a dar prioridade a esse conteúdo oculto ao gerar o resumo.

Quando a vítima utiliza a funcionalidade “Resumir este e-mail”, o Gemini é levado a incluir a mensagem escondida na sua resposta, reproduzindo-a como se fizesse parte do resumo legítimo. Este comportamento cria um risco significativo, já que o utilizador pode interpretar o conteúdo como uma recomendação fiável gerada pela IA.

A Google reconheceu o problema e garantiu estar a tomar medidas. “A defesa contra ataques que impactam o setor, como as injeções de prompt, tem sido uma prioridade contínua para nós”, explicou um porta-voz da Google em declarações à SecurityWeek. “Implementámos várias salvaguardas para evitar respostas prejudiciais ou enganadoras e continuamos a reforçar estas defesas através de exercícios de red-teaming, com o objetivo de treinar os modelos para resistirem a este tipo de ataque”.

Até ao momento, a Google refere não haver indícios de exploração ativa desta técnica em cenários reais. No entanto, a descoberta sublinha a urgência de reforçar as barreiras de segurança para os modelos de IA generativa, cuja adoção continua a expandir-se rapidamente em ambientes empresariais e pessoais.