“Prompt injection” antes de o ser

Estes modelos são frequentemente sujeitos a uma afinação posterior ao treino, o “fine-tuning”, para os adaptar a uma tarefa ou organização. Os dados usados nessa fase nem sempre são integralmente verificados e uma pequena quantidade de exemplos preparados por um atacante pode introduzir comportamentos que escapam às avaliações correntes. Os autores deram ao método o nome Cordyceps, numa referência ao género de fungos que controla o comportamento de alguns insetos.

Num ataque convencional, a ativação depende geralmente de uma palavra ou frase introduzida nos dados de treino e repetida mais tarde na informação recebida pelo modelo. Essa regularidade permite procurar expressões anómalas ou testar variações do mesmo “trigger”. O Cordyceps cria durante o “fine-tuning” uma associação entre uma frase aparentemente banal e uma ordem escolhida pelo atacante. Quando a frase reaparece num documento ou página web, o modelo executa a ordem que aprendeu, embora o texto continue a parecer inofensivo a quem o lê.

A ausência de uma sequência fixa dificulta a deteção. As defesas correntes procuram palavras raras, padrões fora do normal ou relações repetidas entre uma entrada e um resultado. No Cordyceps, a instrução está distribuída pelo sentido do texto e pode sobreviver à sua reformulação. Nos testes dos autores, o ataque manteve taxas de sucesso até 93% depois de defesas contra comportamentos ocultos introduzidos no treino, os “backdoors”, e até 98% depois de mecanismos contra instruções maliciosas colocadas no contexto, a “prompt injection”. Os resultados foram obtidos em cinco modelos e em conjuntos de dados experimentais, não em sistemas empresariais em produção.

Um assistente que prepara a resposta a um pedido de suporte pode recuperar “tickets” anteriores e documentação interna antes de escrever. O texto é colocado junto da pergunta do utilizador por uma arquitetura de geração aumentada por recuperação, ou “RAG” na sigla inglesa. Como a aplicação consulta os sistemas internos com as permissões que lhe foram atribuídas, uma instrução escondida num desses documentos pode tentar obter um registo reservado e incluí-lo na resposta. A origem do texto não indica ao modelo que frases descrevem o caso e que frases procuram explorar os seus acessos.

Essa ambiguidade pode ser introduzida muito antes de o modelo receber a pergunta. Pode estar no conjunto de dados, no “fine-tuning”, num índice vetorial, num conector ou num documento recuperado automaticamente. A expressão “prompt injection” cobre apenas o ponto mais visível de uma cadeia em que informação destinada a descrever uma tarefa adquire autoridade para a alterar. A superfície de ataque acompanha todo o percurso que seleciona, reúne e entrega contexto ao modelo.

Uma avaliação deste risco exige repetir a mesma pergunta com documentos de origens diferentes e com utilizadores que tenham funções e permissões diferentes. Em cada execução, deve ficar registado que fontes entraram no contexto, que ferramentas foram chamadas e que dados regressaram na resposta. Uma mudança limitada a determinada combinação pode desaparecer na média dos resultados, embora seja precisamente o comportamento que o atacante procurou introduzir.

Para as empresas, isto desloca parte da avaliação do modelo para o sistema que o envolve. A origem dos documentos, as permissões atribuídas aos conectores, a separação entre dados e instruções e o registo das ferramentas chamadas passam a ser controlos de segurança. A organização precisa de saber que fontes entram no contexto, quem as pode alterar e que operações ficam ao alcance do modelo quando uma instrução é aceite. Sem esse mapa, um teste bem-sucedido não permite saber até onde pode chegar uma instrução introduzida numa fonte aparentemente legítima.