Gemini acedeu a sistemas de três empresas durante teste de segurança

A Google confirmou que um dos seus modelos Gemini conseguiu aceder aos sistemas de três empresas reais durante um teste de cibersegurança realizado em maio, num incidente que a tecnológica atribui a um erro na configuração do ambiente de avaliação.

Os casos foram inicialmente avançados pelo Wall Street Journal e envolveram a Irregular, empresa especializada em testes de sistemas de Inteligência Artificial (IA) que também esteve associada a incidentes envolvendo modelos da OpenAI, Anthropic e Meta.

O Gemini participava num exercício de capture the flag realizado na infraestrutura da Irregular e tinha como objetivo obter informação de software pertencente a uma empresa fictícia. Esta partilhava, contudo, o nome com uma empresa real.

O modelo não deveria ter acesso à Internet, mas essa possibilidade foi disponibilizada inadvertidamente durante o teste, segundo a Irregular.

Num dos casos, o modelo testou passwords até conseguir entrar num sistema protegido. Em outras duas execuções, pesquisou na Internet pelo nome da empresa e encontrou credenciais de outras organizações disponíveis em repositórios públicos, utilizando-as posteriormente para aceder aos respetivos sistemas.

Segundo a Google, em cada uma das situações o Gemini reconheceu que tinha chegado à infraestrutura de uma empresa real e interrompeu a atividade. A Irregular notificou a Google no final de julho. A tecnológica não divulgou publicamente os incidentes nessa altura, tendo apenas confirmado os casos depois de ter sido contactada pelo Wall Street Journal.

A Google argumenta que os episódios não justificavam uma divulgação pública porque não provocaram danos e o modelo interrompeu a atividade assim que identificou os sistemas reais.

A empresa rejeita também que os casos constituam exemplos de desalinhamento do modelo, considerando que os próprios mecanismos de segurança contribuíram para que o Gemini parasse.

A Google terá posteriormente notificado as autoridades federais norte-americanas e as três empresas afetadas, cujas identidades não foram reveladas. O modelo envolvido também não foi identificado, mas a empresa esclareceu que não se tratava da versão mais recente do Gemini.

Incidentes aumentam escrutínio sobre agentes de IA

Os casos juntam-se a outros episódios identificados durante avaliações de modelos avançados de IA, nos quais agentes conseguiram ultrapassar os limites dos ambientes de teste e interagir com sistemas reais.

OpenAI e Anthropic identificaram também comportamentos não autorizados dos seus modelos, levando as empresas a reforçar mecanismos como sandboxing, monitorização de utilização e controlos destinados a impedir que agentes escapem dos ambientes onde estão a ser avaliados.

A Irregular afirma ter igualmente corrigido os problemas conhecidos nos seus sistemas de testes.