News

NIST lança plataforma open source para testar segurança da IA

A NIST lançou uma nova ferramenta de open source para testar a resiliência dos modelos de machine learning

02/08/2024

NIST lança plataforma open source para testar segurança da IA

O NIST – National Institute of Standards and Technology – lançou a ferramenta Dioptra, uma ferramenta open source desenhada para testar a resiliência dos modelos de machine learning de vários tipos de ataques.

A ferramenta está disponível no GitHub e procura cumprir os requisitos da ordem executivo do presidente norte-americano para que o NIST auxilie nos testes de modelos de inteligência artificial e também suportar a função de medição do AI Risk Management Framework do NIST.

A Dioptra foi originalmente construída para medir ataques contra modelos de classificação de imagens, mas também pode ser adaptada para testar outras aplicações de machine learning, como por exemplo modelos de reconhecimento de voz. A plataforma permite aos utilizadores determinar até que ponto os ataques nas categorias de evasão, poisoning e oracle afetam o desempenho do modelo e pode também ser utilizada para avaliar a utilização de diversas defesas, como a higienização de dados ou métodos de treino mais robustos.

NIST Inteligência Artificial IA Plataforma Open Source