CISA diz que software deve ser seguro por design e “IA não é exceção”

A CISA fez uma publicação no seu blog, intitulada “Software Must Be Secure by Design, and Artificial Intelligence Is No Exception”, onde reforça que a Inteligência Artificial (IA) é um tipo de software e, como tal, não é exceção da prática Security by Design. Os fabricantes de sistemas de IA devem dar prioridade à segurança dos clientes durante todo o ciclo de vida do produto, desde o início do conceito até ao fim do processo, e garantir que estes sistemas são seguros para uso imediato.

O processo de tornar os sistemas de IA seguros por design pode diferir de outros tipos de software. Apesar de ser necessário definir e adaptar algumas práticas de cibersegurança para ter em consideração a IA, as políticas e práticas fundamentais ainda se aplicam ao software de IA. Por isso, a CISA recomenda a integração das práticas Secure By Design pela parte da comunidade de engenharia de IA o mais rápido possível.

De acordo com a mesma publicação da CISA, a engenharia de IA continua a ter muita dívida técnica, evitando, por isso, aplicar estas práticas. À medida que a pressão para adotar o sistema de software de IA aumenta, os developers serão cada vez mais pressionados a assumir dívidas técnicas e a escolher atalhos em vez de implementar os princípios Secure by Design, o que a CISA aponta como algo perigoso.

Segundo a CISA, as discussões mais amplas sobre IA geralmente não consideram os problemas quotidianos na engenharia de IA relacionados com as operações de cibersegurança e a política de cibersegurança existente. Um exemplo são os sistemas que processam formatos de arquivo do modelo AI, que devem proteger contra tentativas de execução de códigos não confiáveis e recorrer a linguagens seguras para a memória.

Assim, a CISA recomenda instituir identificadores de vulnerabilidade, como ID de vulnerabilidades e exposições comuns (CVE), bem como colocar os modelos de IA nas listas de materiais de software e respeitar os princípios fundamentais de privacidade.

Ainda que estas práticas-padrão de Security by Design sejam integradas na engenharia da IA, restam os problemas de garantia específicos da IA. Um exemplo são os inputs adversários que forçam uma classificação incorreta, podendo causar um mau comportamento, por exemplo, dos carros em percursos rodoviários ou ocultar objetos do software da câmara de segurança. A CISA explica que estes inputs adversários são diferentes da validação de inputs-padrão ou do desvio da deteção de segurança, mesmo sendo semelhantes a nível conceptual.

Se o sistema de software habilitado para IA for seguro, as questões de garantia específicas de IA são particularmente importantes, de acordo com a CISA. Isto porque os adversários já têm práticas bem estabelecidas para explorar um sistema de IA com as vulnerabilidades conhecidas e exploradas em elementos de software que não são de IA.

Retomando o exemplo de inputs adversários que forçam erros de classificação, alterar os outputs do modelo é o objetivo do invasor, e comprometer o sistema subjacente também atinge esse propósito. Desta forma, é essencial proteger as partes tradicionais do sistema e não apenas os modelos de machine learning.

A CISA reforça que, à medida que a IA se torna mais integrada nos sistemas de software e que os sistemas de software automatizam diversos aspetos das nossas vidas, torna-se cada vez mais importante que o software de IA seja seguro por Design.