Ameaça Interna: Shadow AI

Por um lado, as organizações começam a integrar estas tecnologias para automatizar processos de deteção, análise e resposta a incidentes, por outro, os atacantes têm vindo a explorar estas mesmas ferramentas para criar campanhas de phishing mais credíveis, automatizar reconhecimento de alvos ou desenvolver malware mais adaptável. Esta dualidade coloca a AI como um novo vetor de ataque e defesa e introduz uma nova perspetiva de ameaça interna: Shadow AI, a utilização não gerida de ferramentas de IA por colaboradores. 

Esta nova ameaça interna eleva a exposição ao Risco devido à adoção destas ferramentas sem conhecimento da organização. Este uso não se limita apenas a ferramentas como ChatGPT ou Gemini, mas também ferramentas como assistentes de escrita, análise de dados, criação de código ou qualquer outra ferramenta que faça uso de IA.

Os colaboradores procuram desempenhar as suas funções de forma rápida e prática, o que muitas vezes não se alinha com os requisitos de segurança ou de conformidade que devem ser mantidos pela organização, o que leva alguns colaboradores a procurarem novas ferramentas. Um dos principais Riscos do Shadow AI acontece com a exposição de informação sensível. Ao introduzir dados internos em plataformas externas de IA, os colaboradores podem comprometer informações sensíveis, como dados pessoais ou de clientes, ou propriedade intelectual. Adicionalmente, muitas destas ferramentas operam com modelos que não são totalmente transparentes, seja porque não são Open-Source ou por serem geridos por terceiros, o que levanta questões sobre a forma como os dados são armazenados, processados e se são reutilizados no treino dos modelos, o que pode causar com que estes dados sejam apresentados no futuro a outros utilizadores.

Ao introduzir dados internos em plataformas externas de IA, os utilizadores não só expõem informação sensível, como também podem, inadvertidamente, contribuir para o treino ou ajuste de modelos que podem vir a ser explorados por terceiros. Desta forma, o Shadow AI pode funcionar como um mecanismo de fuga de informação que alimenta modelos adversariais, permitindo a criação de ataques mais direcionados e eficazes.

Adicionando ainda ao Risco anterior, mesmo que estes modelos sejam locais e apenas utilizados pelos colaboradores, as prompts dos mesmos ainda podem conter detalhes sobre processos, sistemas e clientes tornando-se artefactos valiosos para atacantes exfiltrarem e pedirem um resgate pelas informações sensíveis.

Outro aspeto relevante é a questão da responsabilidade quando ocorre um incidente. Mesmo quando a utilização destas ferramentas não é do conhecimento da organização, esta pode ser responsabilizada por não ter implementado medidas adequadas de controlo, conforme exigido pelo Regulamento Geral de Proteção de Dados (RGPD). Acresce ainda a dificuldade ao nível da prova, uma vez que estão envolvidos ativos que não se encontram no inventário de ativos da organização e como estes não constam num inventário existe uma ausência de mecanismos de monitorização ou uma política de uso aceitável como exigido nos controlos A.5.9 e A.5.10 da ISO 27001.

É importante realçar que apesar dos atacantes utilizarem já IA para ataques mais sofisticados, é necessário reconhecer que a ameaça pode não ocorrer de fora para dentro, mas sim ser vetorizada pelos próprios colaboradores como uma ameaça interna, especialmente quando a organização não possui a capacidade de identificação e análise do risco das soluções de IA que estão a operar os seus processos. Como consequência, independentemente das medidas de segurança implementadas, não é possível proteger aquilo que não está identificado e mapeado. E é precisamente nessa invisibilidade que o Shadow AI se afirma como um dos riscos emergentes mais relevantes. É por todo o exposto fundamental criar um processo de Governance AI, Identificação e avaliação do Risco inerente à utilização destas soluções: Framework AI

Conteúdo co-produzido pela MediaNext e pela Balwurk