Anthropic confirma que modelos de IA comprometeram três organizações

A Anthropic revelou que alguns dos seus modelos de Inteligência Artificial (IA) comprometeram os sistemas de três organizações durante testes internos de cibersegurança, depois de conseguirem escapar ao ambiente isolado onde estavam a ser avaliados.

A investigação foi iniciada na sequência da divulgação, pela OpenAI, de um incidente semelhante envolvendo os seus próprios modelos. A Anthropic analisou cerca de 141 mil execuções de testes em que os modelos poderiam ter acesso à Internet e identificou três casos em que estes alcançaram a Internet pública através de um ambiente de testes disponibilizado pela empresa israelita Irregular, parceira da Anthropic na avaliação de modelos de IA.

Falha no ambiente de testes originou ataques reais

Segundo a Anthropic, os modelos estavam a participar num desafio do tipo capture-the-flag, destinado a avaliar as suas capacidades de cibersegurança. A empresa acreditava que o ambiente não tinha ligação à internet, mas, devido a um erro de configuração entre a Anthropic e a Irregular, essa ligação existia. Os modelos interpretaram os sistemas externos como parte do exercício e avançaram com ataques contra organizações reais.

De acordo com a empresa, os incidentes envolveram os modelos Claude Opus 4.7, Mythos 5 e um modelo interno de investigação. Nenhuma das três organizações visadas detetou autonomamente os ataques.

Num dos casos, o Claude Opus 4.7 continuou a atacar um sistema mesmo depois de identificar que estava perante uma empresa real, por considerar que esta fazia parte do exercício.

Noutro incidente, o modelo Mythos 5 criou uma conta no repositório PyPI, publicou um pacote Python malicioso e conseguiu comprometer os sistemas de uma empresa de cibersegurança que instalou automaticamente esse pacote durante os processos de análise.

O terceiro incidente envolveu um modelo interno da Anthropic, que explorou credenciais expostas e uma vulnerabilidade de SQL injection para comprometer uma aplicação acessível pela Internet. O modelo interrompeu a operação quando concluiu que já não estava a atuar no âmbito do exercício.

Segundo a Anthropic, os ataques recorreram sobretudo a credenciais fracas, serviços sem autenticação e outras técnicas básicas, ao contrário do incidente anteriormente divulgado pela OpenAI, que envolveu a exploração de uma vulnerabilidade zero-day.

A empresa conclui que os incidentes resultaram de falhas operacionais e do ambiente de testes, e não de um comportamento deliberado dos modelos para escapar ao controlo dos investigadores.

A Anthropic defende, por isso, um reforço dos mecanismos de isolamento e contenção dos ambientes de teste utilizados por entidades externas e incentiva outros laboratórios de IA a reverem os seus próprios processos de avaliação de cibersegurança.