Palo Alto Networks: “Estamos perante algo mais próximo de uma revolução” (com vídeo)

“Securing the AI transformation” foi o mote da apresentação executiva de Mo Shell, Head of AI Security GTM, EMEA da Palo Alto Networks, na quinta edição da IT Security Conference, realizada a 8 de outubro, em Lisboa. O responsável defendeu que a segurança deve acompanhar todo o ciclo de desenvolvimento da Inteligência Artificial (IA), numa altura em que os sistemas deixam de se limitar a responder a perguntas e passam a executar tarefas por conta própria.

Para Mo Shell, a transformação impulsionada pela IA ultrapassa a dimensão tecnológica, com um impacto comparável ao da Revolução Industrial e da Revolução Digital. Ao recordar as mudanças que alteraram economias e modelos de negócio, considerou que “estamos perante algo mais próximo de uma revolução”. A comparação serviu também de aviso às empresas que tardem a adaptar-se às novas formas de prestar serviços.

“A inteligência artificial não é apenas uma questão tecnológica. Trata-se, sobretudo, de uma iniciativa de transformação empresarial”, sublinhou. Na sua perspetiva, as organizações que não compreenderem o potencial desta mudança arriscam perder relevância, à semelhança de empresas que não acompanharam anteriores transformações do mercado.

Da resposta à ação autónoma

A crescente adoção da IA levanta também preocupações de segurança, com Mo Shell a alertar para uma mudança que vai além dos tradicionais chatbots, cujo principal risco podia estar nas informações incorretas fornecidas aos utilizadores, para sistemas com capacidade de agir. “Estamos a entrar numa fase em que existem agentes totalmente autónomos, que atuam como seres humanos virtuais ou colaboradores virtuais dentro das organizações e executam tarefas de forma autónoma”, alertou.

Ao contrário das aplicações tradicionais, cujo comportamento é previsível, os sistemas de IA assentes em modelos de linguagem de grande dimensão podem produzir respostas diferentes perante a mesma pergunta. Como explicou o Head of AI Security GTM, EMEA, “pegámos neste cérebro, que é o modelo de linguagem, e demos-lhe, basicamente, braços e pernas”. Desta forma, os agentes deixam de se limitar a responder a perguntas e passam a executar tarefas de forma autónoma, sem depender da intervenção humana em cada decisão.

Esta autonomia também altera a dimensão de um eventual incidente. Uma resposta errada de um assistente pode induzir um utilizador em erro, mas um agente com acesso a sistemas internos pode desencadear ações com consequências operacionais. O desafio para as equipas de segurança deixa, por isso, de se limitar ao conteúdo que a IA produz e passa a abranger aquilo que está autorizada a fazer.

Transformar o negócio implica proteger novos acessos

A IA coloca dois desafios distintos às equipas de segurança. O primeiro consiste em proteger os colaboradores que recorrem a serviços externos, como ChatGPT ou Gemini. O segundo surge quando as organizações desenvolvem os seus próprios modelos e agentes para transformar funções críticas.

“É por isso que desenvolver a nossa própria inteligência artificial para transformar o negócio é absolutamente essencial”, afirmou Mo Shell, ao destacar a importância desta evolução para a competitividade das organizações. Como exemplo, apontou o setor segurador, onde um agente pode acompanhar uma participação de sinistro, desde a recolha de provas e abertura do processo até à reparação do veículo e ao pagamento de valores devidos.

Esta autonomia levanta preocupações de segurança, sobretudo quando os agentes têm acesso a dados sensíveis e sistemas internos. Mo Shell questionou se “estes agentes, que agora simulam o comportamento humano, podem ser manipulados para executar determinadas ações?”, ao abordar riscos como o envenenamento de modelos ou dados, as alucinações e a produção de respostas discriminatórias.

No setor bancário, por exemplo, o acesso a sistemas de pagamentos e informações dos clientes, como o IBAN, coloca desafios adicionais ao controlo das permissões e à proteção da identidade dos agentes, que podem ser utilizadas indevidamente para realizar operações sem autorização.

Segurança desde a primeira fase

Mo Shell alertou ainda para os riscos associados à shadow AI, nomeadamente a utilização de modelos open source que podem conter backdoors ou malware e comprometer a segurança das aplicações desde a fase de desenvolvimento.

Foi neste contexto que apresentou a abordagem securing AI by design, uma plataforma que, nas suas palavras, foi concebida para “abranger todo o ciclo de vida do desenvolvimento de inteligência artificial”. Uma abordagem que assenta no princípio de “começar a tratar da segurança logo no início da criação da aplicação de inteligência artificial e não apenas depois de desenvolvermos o agente e o colocarmos em produção”.

No plano operacional, isso implica conhecer a origem dos modelos utilizados, identificar as ligações aos sistemas empresariais e controlar os dados e recursos disponíveis para cada agente. A segurança deve também ter em conta a possibilidade de manipulação e os efeitos de decisões automatizadas, sobretudo quando estão em causa serviços financeiros ou outros processos sensíveis.

Mo Shell destacou ainda a importância da conformidade regulamentar, com referência ao Regulamento de Resiliência Operacional Digital (DORA), ao Regulamento Geral sobre a Proteção de Dados (RGPD) e ao Regulamento Europeu da Inteligência Artificial (AI Act), cujas exigências devem ser consideradas na adoção e no desenvolvimento de sistemas de IA.

Uma questão de governação e continuidade

Além dos riscos técnicos, o responsável destacou desafios de gestão que tendem a ganhar expressão com a utilização generalizada de IA. O consumo de tokens, unidades utilizadas no processamento de texto pelos modelos, introduz custos variáveis que exigem acompanhamento. “Não se trata apenas de uma discussão sobre transformação através da inteligência artificial ou sobre segurança. É também uma questão de operações financeiras e de governação”, observou.

A falta de preparação das organizações ficou também evidente nos números avançados por Mo Shell, segundo os quais “apenas 6% das organizações desenvolveram efetivamente uma estratégia de segurança de inteligência artificial”. Isto significa que “94% do mercado ainda está a tentar perceber como se preparar para lidar com a inteligência artificial”, alertou.

Mo Shell alertou ainda para a evolução das ameaças, com destaque para o Mythos, um modelo de IA que, segundo o responsável, permite combinar diferentes vulnerabilidades num ataque mais complexo. “Este modelo consegue combinar essas vulnerabilidades num único ataque sistemático, capaz de comprometer sistemas de grande dimensão, como um sistema bancário central”, explicou. As consequências podem comprometer a continuidade operacional das organizações, uma vez que “um banco pode ficar sem capacidade operacional durante vários dias”.

Perante este cenário, o responsável reforçou a necessidade de uma estratégia de segurança capaz de acompanhar a transformação tecnológica. “Precisamos de estar preparados para todos estes novos tipos de exposição e novas superfícies de ataque, que não existiam antes do aparecimento da inteligência artificial”, alertou.

Para Mo Shell, esta preparação deve começar antes de os sistemas entrarem em funcionamento. “Temos de começar a tratar da segurança logo no início da criação da aplicação de inteligência artificial, e não apenas depois de desenvolvermos o agente e o colocarmos em produção”, defendeu, ao reforçar a importância de integrar a segurança em todo o ciclo de desenvolvimento da IA