Rasgo lança Rasgo AI, um agente generativo de IA para análise de data warehouse corporativo
15 de janeiro de 2024
Comunicações no aplicativo: o canal negligenciado no omnicanal
15 de janeiro de 2024
O Instituto Nacional de Padrões e Tecnologia (NIST) divulgou um relatório urgente para ajudar na defesa contra um cenário de ameaças crescentes que visam sistemas de inteligência artificial (IA).
O relatório, intitulado “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, chega a um momento crítico em que os sistemas de IA estão mais poderosos e mais vulneráveis do que nunca.
Tal como explica o relatório, a aprendizagem automática adversária (ML) é uma técnica utilizada pelos atacantes para enganar os sistemas de IA através de manipulações subtis que podem ter efeitos catastróficos.
O relatório prossegue fornecendo uma visão geral detalhada e estruturada de como esses ataques são orquestrados, categorizando-os com base nos objetivos, capacidades e conhecimento dos atacantes sobre o sistema de IA alvo.
“Os invasores podem confundir deliberadamente ou até mesmo ‘envenenar’ os sistemas de inteligência artificial para fazê-los funcionar mal”, explica o relatório do NIST. Esses ataques exploram vulnerabilidades na forma como os sistemas de IA são desenvolvidos e implantados.
O relatório descreve ataques como “envenenamento de dados”, em que adversários manipulam os dados usados para treinar modelos de IA. “Trabalhos recentes mostram que o envenenamento pode ser orquestrado em escala para que um adversário com recursos financeiros limitados possa controlar uma fração dos conjuntos de dados públicos usados para treinamento de modelos”, diz o relatório.
Outra preocupação descrita pelo relatório do NIST são os “ataques backdoor”, em que gatilhos são plantados em dados de treinamento para induzir erros de classificação específicos posteriormente. O documento alerta que “ataques backdoor são notoriamente difíceis de defender”.
O relatório do NIST também destaca os riscos de privacidade dos sistemas de IA. Técnicas como “ataques de inferência de associação” podem determinar se uma amostra de dados foi usada para treinar um modelo. O NIST então adverte: “Ainda não existe nenhuma maneira infalível de proteger a IA contra direcionamento incorreto”.
Embora a IA prometa transformar as indústrias, os especialistas em segurança enfatizam a necessidade de cautela. “Os chatbots de IA possibilitados pelos recentes avanços na aprendizagem profunda emergiram como uma tecnologia poderosa com grande potencial para inúmeras aplicações empresariais”, afirma o relatório do NIST. “No entanto, esta tecnologia ainda está emergindo e só deve ser implantada com muita cautela.”
O objetivo do relatório do NIST é estabelecer uma linguagem comum e uma compreensão das questões de segurança da IA. Este documento provavelmente servirá como uma referência importante para a comunidade de segurança de IA enquanto ela trabalha para enfrentar ameaças emergentes.
Joseph Thacker, engenheiro principal de IA e pesquisador de segurança da AppOmni, disse ao VentureBeat “Esta é a melhor publicação de segurança de IA que já vi. O que mais chama a atenção é a profundidade e a cobertura. É o conteúdo mais aprofundado sobre ataques adversários a sistemas de IA que encontrei.”
Por enquanto, parece que estamos presos num jogo interminável de gato e rato, sem fim à vista. À medida que os especialistas enfrentam as ameaças emergentes à segurança da IA, uma coisa é clara: entrámos numa nova era em que os sistemas de IA necessitarão de uma proteção muito mais robusta antes de poderem ser implementados com segurança em todos os setores. Os riscos são simplesmente grandes demais para serem ignorados.
A missão da VentureBeat é ser uma praça digital para os tomadores de decisões técnicas obterem conhecimento sobre tecnologia empresarial transformadora e realizarem transações. Conheça nossos Briefings.
