O Instituto Nacional de Padrões e Tecnologia (NIST) é relançando uma ferramenta que testa o quão suscetíveis os modelos de inteligência artificial (IA) são a serem “envenenados” por dados maliciosos.
A medida ocorre nove meses após a decisão do presidente Biden Ordem executiva sobre o desenvolvimento seguro, protegido e confiável de IA, e é uma resposta direta à exigência dessa ordem de que o NIST ajude com testes de modelos. O NIST também lançou recentemente um programa que ajuda os americanos a usar IA sem cair na armadilha de conteúdo sintético ou gerado por IA e que promove o desenvolvimento de IA para o benefício da sociedade.
A ferramenta, chamada Dioptrafoi lançado inicialmente há dois anos e tem como objetivo ajudar pequenas e médias empresas e agências governamentais. Usando a ferramenta, alguém pode determinar que tipo de ataque faria seu modelo de IA ter um desempenho menos eficaz e quantificar a redução no desempenho para ver as condições que fizeram o modelo falhar.
Também: Cuidado com o “colapso do modelo” de IA: como o treinamento em dados sintéticos polui a próxima geração
Por que isso importa?
É essencial que as organizações tomem medidas para garantir que os programas de IA sejam seguros. O NIST está encorajando ativamente as agências federais a utilizar a IA em vários sistemas. Os modelos de IA treinam em dados existentes e, se alguém injetar dados maliciosos propositalmente — digamos, dados que fizeram a IA ignorar placas de pare ou limites de velocidade — o NIST aponta, os resultados podem ser desastrosos.
Apesar de todos os benefícios transformadores da IA, a diretora do NIST, Laurie E. Locascio, diz que a tecnologia traz consigo riscos muito maiores do que aqueles associados a outros tipos de software. “Esses documentos de orientação e plataforma de testes informarão os criadores de software sobre esses riscos exclusivos e os ajudarão a desenvolver maneiras de mitigar esses riscos, ao mesmo tempo em que dão suporte à inovação”, ela observa no comunicado.
Também: As diretrizes de segurança fornecem a primeira camada necessária de proteção de dados na corrida do ouro da IA
A Dioptra pode testar diversas combinações de ataques, defesas e arquiteturas de modelos para entender melhor quais ataques podem representar as maiores ameaças, diz o NIST, e quais soluções podem ser melhores.
A ferramenta não promete eliminar todos os riscos, mas afirma ajudar a mitigar os riscos e, ao mesmo tempo, apoiar a inovação. É disponível para download de graça.
source – www.zdnet.com
