Universidade de Coimbra expõe riscos críticos sobre segurança dos modelos de IA

A Universidade de Coimbra, em colaboração com a Indra Group, apresentou o whitepaper “IA e Cibersegurança: O Desafio da Confiança Digital”. O estudo analisa criticamente os riscos, vulnerabilidades e dilemas éticos associados à Inteligência Artificial (IA) e propõe um enquadramento inovador para testar a segurança dos grandes modelos de linguagem (LLM).

As conclusões da investigação destacam em garantir a segurança dos LLM perante ataques de manipulação: destacam-se que mais de 80% dos modelos testados geraram código inseguro quando expostos a ataques de manipulação dissimulados, as técnicas multi-turno e de roleplay continuam a ser capazes de contornar mecanismos de segurança, e os modelos mais recentes mostram avanços na distinção entre risco real e aparente, mas mantêm fragilidades contextuais que exigem vigilância constante.

Para os investigadores da UC, o verdadeiro desafio da próxima geração de IA será encontrar o equilíbrio entre a utilidade e o risco, construindo sistemas “secure-by-design”, onde a inovação e a segurança evoluem em conjunto.

“A segurança da IA precisa de ser mensurável, comparável e contínua. Só assim será possível criar confiança digital real e sustentável”, referem João Donato e João Campos, investigadores da Universidade de Coimbra e autores do estudo.

O enquadramento proposto pelos investigadores permite precisamente avaliar e comparar a robustez dos modelos face a diferentes tipos de ataques, combinando métricas objetivas, cenários realistas e um “júri automatizado” de modelos independentes. O objetivo é transformar a investigação científica em valor prático, contribuindo para uma IA mais ética, transparente e segura.

O estudo sublinha que a tecnologia é decisiva na deteção precoce destas vulnerabilidades. A segurança e a confiança digital dependem de ferramentas avançadas de monitorização, algoritmos de análise comportamental e sistemas automatizados de auditoria são essenciais para identificar riscos antes que possam comprometer a integridade dos modelos de IA, garantindo maior segurança e confiança digital.

Para a Indra Group, esta colaboração reflete um compromisso com o avanço do conhecimento e com a criação de conteúdo científico relevante, produzido em Portugal, na área da tecnologia e da IA, que pode ser transformado em valor real para as empresas.

“Acreditamos que a confiança digital tem de ser o novo pilar da transformação tecnológica. Ao apoiar o desenvolvimento deste género de investigações, a Indra Group está a reforçar o seu compromisso em tornar a cibersegurança um motor de valor e confiança, antecipando e promovendo uma IA ética e responsável”, afirma António Ribeiro, responsável de Cibersegurança da Minsait em Portugal.