A segurança das plataformas de IA é um desafio crescente para as organizações

A inteligência artificial está a tornar-se cada vez mais ubíqua, com sistemas de IA a serem utilizados numa vasta gama de aplicações, desde carros autónomos até diagnósticos médicos. No entanto, o crescente uso da IA também está a aumentar os riscos de segurança informática.

Um novo relatório da ENISA, “A multilayer framework for good cybersecurity practices for AI”, alerta que o uso indevido da IA se tornará uma ameaça significativa nos próximos anos. O relatório identifica uma série de vulnerabilidades que podem ser exploradas para comprometer sistemas de IA, incluindo:

• Dados maliciosos: os sistemas de IA podem ser comprometidos se forem treinados em dados maliciosos, como imagens ou texto que foram alterados para enganar o sistema;
• Ataques de negação de serviço: os sistemas de IA podem ser sobrecarregados com ataques de negação de serviço, que podem impedir que funcionem corretamente;
• Ataques de malware: os sistemas de IA podem ser infetados por malware, que pode ser usado para roubar dados ou controlar o sistema;
• Ataques de engenharia social: os sistemas de IA podem ser enganados por agentes maliciosos que se fazem passar por pessoas confiáveis.

O referido relatório da ENISA também identifica uma série de medidas que podem ser tomadas para melhorar a segurança da IA, incluindo:

• Melhorar a qualidade dos dados utilizados para treinar sistemas de IA;
• Desenvolver sistemas de IA que sejam resistentes a ataques de negação de serviço;
• Desenvolver sistemas de IA que sejam resistentes a malware;
• Educar os utilizadores sobre os riscos de segurança da IA.

Proteger as infraestruturas de IA

Muito se tem falado, desde há alguns anos, na utilização da IA em cibersegurança, especialmente em duas vertentes. A primeira é no seu uso por parte dos atacantes, para melhor identificação e caracterização dos alvos. O outro, é no lado da defesa, já que só com o uso de IA é possível combater ataques cada vez mais sofisticados e otimizados, quando não gerados, por IA.

Tem-se falado menos na segurança das próprias infraestruturas de suporte a IA, talvez porque os riscos que comportam são, alegadamente, idênticos aos que podem ser esperados noutras áreas aplicacionais. Mas esta é, claramente, uma aproximação insuficiente. Não apenas a natureza do código de IA é diferente da de sistemas tradicionais – nomeadamente por ser francamente menos auditável – como a própria segurança tem de começar nos dados usados para treinar os sistemas. Por outro lado, as infraestruturas também têm uma arquitetura diferente, nomeadamente por serem muito mais dependentes de GPU do que qualquer outro sistema tradicional.

Em geral, estamos a falar de sistemas recentes, com muita tecnologia que é dominada por muito pouca gente dentro das organizações, com código que tem estado a evoluir a ritmo de atualizações semanais, em particular se estivermos a falar de sistemas LLM baseados em código aberto e auto-hospedados. Em muitos casos, não estão ainda interiorizadas boas práticas de engenharia de software e de operações. Definidas sim, até poderão estar, mas em muitos casos as equipas não tiveram ainda tempo, ou não geraram ainda a massa crítica, ou não sentiram a premência, para as colocarem em prática. O que significa que os sistemas de IA que muitas organizações poderão estar a implementar, desde os chatbots até outras mais próximas do núcleo do negócio, poderão estar vulneráveis a riscos não necessariamente identificados, menos ainda salvaguardados.

É por isso que recomendações com as agora apresentadas pela ENISA podem ser de grande utilidade. A ENISA, como outras organizações internacionais com semelhante missão, estão cientes do que há para fazer e estão a investir significativamente nesta codificação de boas práticas e elaboração de checklists. Avisadas andarão as organizações que procurem preparar-se – usando estes e outros materiais de idêntica natureza – para o que inevitavelmente virá a acontecer. Secure by design não tem sido a preocupação principal dos criadores de sistemas de IA, mas rapidamente, mais do que certamente esperamos, vai ter de passar a ser.