IA Generativa como Vetor de Ataque e de Defesa

GenAI consiste na capacidade de gerar e criar informação nova tendo por base a aprendizagem padronizada de informação semelhante e existente. Enquanto a "IA tradicional" se foca em tomar decisões ou efectuar tarefas com base na informação providenciada, a GenAI permite criar informação, ou seja, texto, imagens, documentos, aúdios, videos, etc. A IA tradicional foca-se em análise e decisões e a GenAI produz, gera e cria informação. De uma forma mais prática, enquanto a IA tradicional consegue analisar informação e detectar vulnerabilidades, a GenAI permite explorar essas vulnerabilidades, ou mitigar essas mesmo vulnerabilidades.

Como exemplo de GenAI temos a análise de código, detecção de falhas e a correcção do mesmo sugerindo as alterações de código que têm de ser efectuadas. A descoberta de vulnerabilidades via GenAI pode ser efectuada através da análise de código, mas também criando formas de testar serviços específicos (softwares e afins), criando formas imaginativas de usar o serviço, analisar as respostas obtidas e perceber se essas respostas se enquadram numa vulnerabilidade ou não, isto tudo muito automatizado e num curto espaço de tempo. Outros exemplos de GenAI é a escrita de artigos, geração de imagens, elaboração de apresentações, escrita de emails, criação de código, elaboração de scripts, etc.

Daqui se depreende que a GenAI é uma ferramenta facilmente disponível para qualquer utilizador que tenha conhecimentos básicos de informática e que não tenha conhecimentos profundos da informação a ser gerada. Sendo que a limitação do seu uso de forma maliciosa nas ofertas de GenAI comercial, são os limites éticos impostos pelo fornecedor de GenAI. Temos o caso de um jovem portugês que desenvolveu um motor de GenAI sem limites éticos, sendo que este GenAI podia ser usado livremente para produzir emails de phishing convincentes e scripts de malware em apenas alguns segundos. Estes emails e scripts eram criados sem as limitações impostas por um modelo de IA comercial. Este GenAI malicioso foi desenvolvido com base em software de código aberto, sem necessidade de investimento monetário, apenas usando tempo e paciência. Este IA malicioso não era um modelo com uma performance superior, apenas removia os limites e podia ser utilizado de forma maliciosa. Ou seja, o desenvolvimento de um modelo de IA malicioso não tem de ser efectuado por uma organização nem por alguém com recursos financeiros significativos.

O GenAI também pode ser usado para criar "deep fakes" de informação falsa como exemplo fotografias, documentos, videos/audios, e que podem ser usados em ataques de engenharia social. Cabe a quem desenha as ofertas de GenAI seguir uma abordagem do modelo de GenAI ser seguro e não malicioso. O modelo deve ser supervisionado e treinado para quando dá respostas de carácter malicioso, aprender que essas respostas não podem ser apresentadas ao utilizador. Não utilizar informação maliciosa como treino, também é uma forma de tornar o GenAI mais seguro. Quando o utilizador usa na formulação do seu pedido termos que indiciam a procura de respostas maliciosas, o GenAi deverá ser capaz de bloquear estes pedidos.

Torna-se evidente que é mais fácil desenvolver um modelo de GenAI sem limites, do que construir limites para o GenAI ser mais seguro, segurança no sentido de não criar/gerar informação maliciosa. A GenAI pode ser usada de forma maligna em ataques de phishing, exploração de vulnerabilidades, criação de deep fakes. Mas também pode ser usada como protecção, comportando-se com um agente SOC, efectuar análise e correlação de eventos e logs, detectar ameaças em tempo real e sugerindo quase de imediato quais as formas de mitigar, podendo providenciar scripts, código, ou sugerir alterações à configuração. A análise de informação e conteúdos, e perceber se a informação foi gerada por GenAI e se estamos na presença de deep fakes, também é uma forma de GenAI ser usada como ferramenta de protecção.

É fácil perceber que que não se consegue evitar que os atacantes usem a GenAi de forma maliciosa. Por muito que se coloquem limites, há-de existir sempre alguém que consegue usar a IA de forma maliciosa. Pelo que a questão não é tanto como se limita a GenAI (e vai ter sempre de existir essa limitação), mas sim como nos proteger do uso malicioso da GenAI.

Conteúdo co-produzido pela MediaNext e pela CSO