Deepfakes e riscos da IA: As ameaças que desafiam os líderes de segurança

A Gartner identificou quatro ameaças críticas que, segundo a consultora, exigem melhorias urgentes das equipas de cibersegurança. Deepfakes, comprometimento de aplicações de Inteligência Artificial (IA), prompt injection e riscos na cadeia de fornecimento de software são apontados como áreas onde os atacantes mantêm uma vantagem significativa na exploração de vulnerabilidades.

A análise foi apresentada durante o Gartner Security & Risk Management Summit e integra o modelo ThreatScape, desenvolvido para avaliar ameaças com base na informação disponível sobre cada risco e na capacidade das organizações para o mitigar.

Segundo John Watts, VP Analyst da Gartner, a rápida evolução da IA está a aumentar a complexidade do panorama de ameaças. O responsável defende que os líderes de cibersegurança devem distinguir os riscos mais relevantes num contexto marcado pelo crescente volume de informação e pela rápida evolução tecnológica.

Uma das principais preocupações identificadas é o comprometimento de aplicações de IA. À medida que as organizações implementam ferramentas baseadas em IA generativa e agentes autónomos, aumenta também a superfície de ataque. A Gartner alerta que aplicações desenvolvidas internamente, integrações de terceiros e plataformas utilizadas apenas por colaboradores podem expor dados sensíveis ou credenciais caso não existam controlos adequados.

Para reduzir estes riscos, a consultora recomenda a adoção de práticas de desenvolvimento seguro, modelação de ameaças, classificação de dados e monitorização contínua das aplicações. A utilização do modelo Trust, Risk and Security Management (TRiSM) é apontada como uma abordagem para incorporar mecanismos de proteção específicos para IA ao longo do ciclo de desenvolvimento.

Os deepfakes constituem outra das ameaças destacadas. A evolução da IA generativa aumentou a qualidade e acessibilidade de conteúdos falsificados em áudio, vídeo e imagem, facilitando esquemas de fraude, campanhas de phishing e tentativas de contornar mecanismos de autenticação biométrica.

A Gartner considera que a deteção de deepfakes, por si só, não é suficiente para mitigar o risco. A organização recomenda o reforço dos processos de validação de identidade, a implementação de mecanismos de autenticação robusta e a monitorização de comunicações em tempo real.

A cadeia de fornecimento de software continua igualmente sob pressão. A consultora alerta que a crescente utilização de componentes open source e ferramentas de IA poderá acelerar ataques direcionados a bibliotecas, modelos e dependências utilizadas durante o desenvolvimento de aplicações.

Neste domínio, a Gartner recomenda a criação de inventários completos de ativos de software, a utilização de repositórios controlados para código e modelos de IA e a exigência de Software Bill of Materials (SBOM) junto dos fornecedores. A proteção dos ambientes de desenvolvimento e a monitorização contínua das atividades em produção são igualmente consideradas prioritárias.

A quarta ameaça identificada é o prompt injection, uma técnica que visa manipular os comandos enviados a modelos de linguagem de grande dimensão (LLM). Este tipo de ataque pode levar sistemas de IA a revelar informação sensível, executar ações não autorizadas ou contornar mecanismos de segurança definidos pelas organizações.

Para mitigar este risco, a Gartner recomenda a implementação de validação e sanitização de entradas, testes de segurança específicos para IA, monitorização de comportamentos anómalos e mecanismos de controlo em tempo de execução capazes de detetar atividades suspeitas.

A consultora conclui que a crescente adoção de IA nas organizações está a criar novas superfícies de ataque e a exigir uma revisão das estratégias de cibersegurança. A combinação entre controlos técnicos, governação e monitorização contínua será determinante para responder às ameaças emergentes associadas a esta transformação tecnológica.