IA, LLMs e segurança: como lidar com as novas ameaças

Até agora, a maior parte da galáxia já usou uma ferramenta de IA de uma forma ou de outra – com a maioria das pessoas satisfeitas em não ir além de experimentar uma ou duas ferramentas em seus respectivos navegadores da web. Mas você já instalou um modelo de linguagem grande (LLM) em uma máquina local para agradar suas inclinações de ajustes?

Se sim, tenha cuidado. Ao correr para experimentar um novo LLM, você pode estar se expondo a riscos de segurança. À medida que a IA continua a avançar, também aumentam os riscos associados a potenciais explorações e vulnerabilidades.

Os modelos de IA, especialmente aqueles com milhões ou mesmo milhares de milhões de parâmetros, são altamente complexos e difíceis de examinar completamente. Essa complexidade os torna suscetíveis à exploração, pois os invasores podem encontrar brechas ou vulnerabilidades que passam despercebidas pelos desenvolvedores.

Neste episódio de The New Stack Makers, conversei com Lance Seidman para esclarecer mais sobre os novos desafios de segurança. Seidman, um programador experiente que atualmente busca soluções de IA para beneficiar as práticas de saúde, ajudou-nos a mergulhar nas nuances dessas explorações recentes.

Modelos de IA precisam de supervisão humana

Hugging Face se autodenomina “a plataforma onde a comunidade de aprendizado de máquina colabora em modelos, conjuntos de dados e aplicativos” – e certamente se tornou o local ideal para executar demonstrações ao vivo e baixar código para execução em outro lugar.

Recentemente, foi descoberto (e posteriormente resolvido) que modelos maliciosos de IA no Hugging Face estavam fazendo backdoor nas máquinas dos usuários – aparentemente dependentes do módulo pickle do Python.

Pickle, um módulo de serialização em Python, permitiu que invasores manipulassem modelos de IA para executar comandos arbitrários, representando ameaças significativas à segurança dos usuários. Para mitigar, o Hugging Face implementou um scanner de segurança que verifica todos os arquivos enviados ao Hub e executa verificações de segurança. No momento, isso inclui varreduras ClamAV e varreduras Pickle Import.

Mas nada é infalível. Uma das principais conclusões da nossa conversa com Seidman é o papel crítico da supervisão humana na salvaguarda dos sistemas de IA contra ataques maliciosos. Embora os modelos de IA possam possuir capacidades impressionantes, eles não estão imunes às táticas de engenharia social.

Neste episódio de Makers, Seidman demonstrou como a IA pode ser enganada para fornecer informações sobre possíveis explorações, destacando a necessidade de vigilância constante e medidas de segurança proativas.

Ele observou: “É claro que, antes que a IA crie uma nova IA para melhorar as coisas e tornar alguém como eu obsoleto, ainda é necessário que haja algum ser humano em algum momento para garantir que as coisas estão sendo feitas corretamente”, disse Seidman em O episódio .

“Porque estes modelos e toda esta informação são criados graças à inteligência humana. Então, ele só sabe o que sabe de nós. Ao mesmo tempo, como sabemos, neste momento, estas coisas ficam distorcidas e há desinformação – e alguém precisa de monitorizar isso. Então, isso provavelmente é um trabalho em si.”

Salvaguardas Técnicas, Consciência Cultural

À medida que as tecnologias de IA se tornam mais sofisticadas, o mesmo acontece com as táticas empregadas por atores mal-intencionados. Para enfrentar estes desafios, Seidman defendeu uma abordagem multifacetada à segurança da IA. Esta abordagem envolve não apenas salvaguardas técnicas, mas também a promoção de uma cultura de sensibilização e responsabilização dentro da comunidade de IA. Os desenvolvedores devem priorizar a segurança em todas as fases do ciclo de vida do desenvolvimento, desde a criação do código até a implantação e além.

Com toda a seriedade, use seu macarrão. Não terceirize suas habilidades de pensamento crítico. Esse é o resultado final.

Uma das ferramentas críticas no arsenal dos profissionais de segurança de IA é a capacidade de detectar e mitigar explorações potenciais antes que possam ser exploradas. Neste episódio, Seidman demonstrou ainda como a IA pode ser usada para identificar vulnerabilidades e como resolver esses pontos fracos antes que possam ser explorados. Ao aproveitar a IA para fins defensivos, os profissionais de segurança podem ficar um passo à frente de possíveis ameaças e proteger seus sistemas contra danos.

Confira o episódio completo para saber mais sobre como manter sua organização segura ao usar IA.

Você também pode baixar o e-book mais recente do The New Stack, “Melhor, mais rápido, mais forte: como a IA generativa transforma o desenvolvimento de software”, para uma visão clara das vantagens e desafios incorporados ao GenAI.

A postagem IA, LLMs e segurança: como lidar com as novas ameaças apareceu pela primeira vez em The New Stack.