Cisco lança ferramenta open source para rastrear modelos de IA

A Cisco anunciou o lançamento do Model Provenance Kit, uma ferramenta open source concebida para ajudar as organizações a rastrear a origem e a integridade de modelos de Inteligência Artificial (IA).

A solução surge num contexto em que muitas empresas recorrem a modelos de terceiros disponíveis em repositórios públicos, como o Hugging Face, sem mecanismos robustos para validar alterações, origem ou potenciais vulnerabilidades.

Segundo a Cisco, a falta de visibilidade sobre o histórico dos modelos pode introduzir riscos significativos, incluindo utilização de modelos comprometidos, enviesados ou suscetíveis a manipulação. Estes problemas podem propagar-se para aplicações críticas, como chatbots, agentes autónomos ou sistemas voltados para clientes.

A ferramenta pretende mitigar estes riscos através da criação de uma “impressão digital” de cada modelo, baseada em metadados, similaridade de tokenização e características ao nível dos pesos do modelo, como geometria de embeddings ou camadas de normalização.

O Model Provenance Kit inclui dois modos principais: o modo “compare”, que permite analisar a relação entre dois modelos, e o modo “scan”, que identifica a origem mais próxima de um modelo ao compará-lo com uma base de dados de referências.

A Cisco sublinha que, à medida que os modelos são ajustados, combinados e redistribuídos, torna-se cada vez mais difícil determinar a sua origem, o que complica a resposta a incidentes e a identificação de vulnerabilidades.

Além dos riscos de segurança, a ausência de rastreabilidade levanta desafios de conformidade regulatória e licenciamento, sobretudo num cenário de crescente exigência na documentação do uso de IA.

Disponível em Python com interface de linha de comandos, a ferramenta pode ser integrada em fluxos de desenvolvimento e auditoria, permitindo às organizações reforçar a transparência e a confiança na utilização de modelos de IA.

O Model Provenance Kit está disponível no GitHub, enquanto a base de dados de referência de modelos foi disponibilizada pela Cisco na plataforma Hugging Face.