![Arthur revela Bench, um avaliador de modelos de IA de código aberto](https://optimuscloud.com.br/wp-content/uploads/2024/01/1705376637_Arthur-revela-Bench-um-avaliador-de-modelos-de-IA-de.png)
Arthur revela Bench, um avaliador de modelos de IA de código aberto
16 de janeiro de 2024![O segredo para tornar a análise de dados tão transformadora quanto a IA generativa](https://optimuscloud.com.br/wp-content/uploads/2024/01/O-segredo-para-tornar-a-analise-de-dados-tao-transformadora.jpeg)
O segredo para tornar a análise de dados tão transformadora quanto a IA generativa
16 de janeiro de 2024A Protect AI, uma empresa de segurança de IA e aprendizado de máquina (ML), anunciou que levantou com sucesso US$ 35 milhões em uma rodada de financiamento da série A. A Evolution Equity Partners liderou a rodada e contou com a participação da Salesforce Ventures e dos investidores existentes Acrew Capital, Boldstart Ventures, Knollwood Capital e Pelion Ventures.
Fundada por Ian Swanson, que anteriormente liderou os negócios mundiais de IA e ML da Amazon Web Services, a empresa visa fortalecer os sistemas de ML e aplicações de IA contra vulnerabilidades de segurança, violações de dados e ameaças emergentes.
O desafio de segurança de IA/ML tornou-se cada vez mais complexo para as empresas que se esforçam para manter inventários abrangentes de ativos e elementos em seus sistemas de ML. O rápido crescimento dos ativos da cadeia de abastecimento, tais como modelos fundamentais e conjuntos de dados externos de formação de terceiros, amplifica esta dificuldade.
Esses desafios de segurança expõem as organizações a riscos relacionados à conformidade regulatória, vazamento de PII, manipulação de dados e envenenamento de modelos.
Para resolver essas preocupações, a Protect AI desenvolveu uma plataforma de segurança, AI Radar, que fornece aos desenvolvedores de IA, engenheiros de ML e profissionais de AppSec visibilidade, detecção e recursos de gerenciamento em tempo real para seus ambientes de ML.
“Modelos de aprendizado de máquina e aplicativos de IA são normalmente construídos usando uma variedade de bibliotecas de código aberto, modelos fundamentais e conjuntos de dados de terceiros. O AI Radar cria um registro imutável para rastrear todos esses componentes usados em um modelo de ML ou aplicativo de IA na forma de uma ‘lista de materiais de aprendizado de máquina (MLBOM)’”, disse Ian Swanson, CEO e cofundador da Protect AI, ao VentureBeat. “Em seguida, ele implementa verificações contínuas de segurança que podem encontrar e solucionar vulnerabilidades”.
>>Não perca nossa edição especial: O Futuro do data center: Lidando com demandas cada vez maiores.<<
Tendo garantido um financiamento total de 48,5 milhões de dólares até à data, a empresa pretende utilizar os fundos recentemente adquiridos para dimensionar os esforços de vendas e marketing, melhorar as atividades de entrada no mercado, investir em investigação e desenvolvimento e reforçar as iniciativas de sucesso do cliente.
Como parte do acordo de financiamento, Richard Seewald, fundador e sócio-gerente da Evolution Equity Partners, ingressará no conselho de administração da Protect AI.
Protegendo modelos de IA/ML por meio de visibilidade proativa de ameaças
A empresa afirma que as ferramentas de segurança tradicionais não têm a visibilidade necessária para monitorizar sistemas dinâmicos de ML e fluxos de trabalho de dados, deixando as organizações mal equipadas para detetar ameaças e vulnerabilidades na cadeia de abastecimento de ML.
Para mitigar esta preocupação, o AI Radar incorpora verificações de segurança continuamente integradas para proteger os ambientes de ML contra vazamentos ativos de dados, vulnerabilidades de modelos e outros riscos de segurança de IA.
A plataforma usa ferramentas integradas de verificação de modelos para LLMs e outras cargas de trabalho de inferência de ML para detectar violações de políticas de segurança, vulnerabilidades de modelos e ataques de injeção de código malicioso. Além disso, o AI Radar pode ser integrado a ferramentas de orquestração AppSec e CI/CD de terceiros e estruturas de robustez de modelo.
A empresa afirmou que a camada de visualização da plataforma fornece insights em tempo real sobre a superfície de ataque de um sistema de ML. Ele também gera e atualiza automaticamente um MLBOM seguro e dinâmico que rastreia todos os componentes e dependências do sistema de ML.
A Protect AI enfatiza que esta abordagem garante visibilidade e auditabilidade abrangentes na cadeia de fornecimento de IA/ML. O sistema mantém registros imutáveis com data e hora, capturando quaisquer violações de políticas e alterações feitas.
“O AI Radar emprega uma abordagem que prioriza o código, permitindo que os clientes habilitem seu pipeline de ML e sistema CI/CD para coletar metadados durante cada execução do pipeline. Como resultado, ele cria um MLBOM contendo detalhes abrangentes sobre os dados, artefatos de modelo e código utilizado em modelos de ML e aplicações de IA”, explicou Swanson, da Protect AI. “Cada vez que o pipeline é executado, uma versão do MLBOM é capturada, permitindo consultas em tempo real e implementação de políticas para avaliar vulnerabilidades, vazamentos de PII, envenenamento de modelos, riscos de infraestrutura e conformidade regulatória”.
Em relação ao MLBOM da plataforma em comparação com uma lista de materiais de software tradicional (SBOM), Swanson destacou que enquanto um SBOM constitui um inventário completo de uma base de código, um MLBOM abrange um inventário abrangente de dados, artefatos de modelo e código.
“Os componentes de um MLBOM podem incluir os dados que foram usados no treinamento, teste e validação de um modelo de ML, como o modelo foi ajustado, os recursos do modelo, formatação do pacote do modelo, artefatos da cadeia de suprimentos OSS e muito mais”, explicou Swanson . “Ao contrário do SBOM, nossa plataforma fornece uma lista de todos os componentes e dependências em um sistema de ML para que os usuários tenham total procedência de seus modelos de IA/ML.”
Swanson destacou que inúmeras grandes empresas usam vários fornecedores de software de ML, como Amazon Sagemaker, Azure Machine Learning e Dataiku, resultando em várias configurações de seus pipelines de ML.
Em contraste, ele destacou que o AI Radar permanece independente de fornecedor e integra perfeitamente todos esses diversos sistemas de ML, criando uma abstração unificada ou “painel único de vidro”. Com isso, os clientes podem acessar prontamente informações cruciais sobre a localização e origem de qualquer modelo de ML e os dados e componentes empregados em sua criação.
Swanson disse que a plataforma também agrega metadados sobre o uso de aprendizado de máquina e cargas de trabalho dos usuários em todos os ambientes organizacionais.
“Os metadados coletados podem ser usados para criar políticas, entregar modelos de BoMs (listas de materiais) às partes interessadas e para identificar o impacto e remediar o risco de qualquer componente em seu ecossistema de ML em todas as plataformas em uso”, disse ele ao VentureBeat. “Os painéis da solução… funções/permissões de usuário que preenchem a lacuna entre as equipes de criadores de ML e os profissionais de segurança de aplicativos.”
O que vem por aí para o Protect AI?
Swanson disse à VentureBeat que a empresa planeja manter o investimento em P&D em três áreas cruciais: aprimorar as capacidades do AI Radar, expandir a pesquisa para identificar e relatar vulnerabilidades críticas adicionais na cadeia de suprimentos de ML de ofertas de código aberto e de fornecedores e promover investimentos na empresa. projetos de código aberto NB Defense e Rebuff AI.
Uma implantação bem-sucedida de IA, destacou ele, pode aumentar rapidamente o valor da empresa por meio da inovação, da melhoria da experiência do cliente e do aumento da eficiência. Portanto, salvaguardar a IA proporcionalmente ao valor que ela gera torna-se fundamental.
“Nosso objetivo é educar a indústria sobre as distinções entre segurança de aplicativos típicos e segurança de sistemas de ML e aplicativos de IA. Ao mesmo tempo, oferecemos soluções fáceis de implantar que garantem a segurança de todo o ciclo de vida de desenvolvimento de ML”, disse Swanson. “Nosso foco está em fornecer soluções práticas contra ameaças e apresentamos a primeira lista de materiais de ML (MLBOM) do setor para identificar e abordar riscos na cadeia de fornecimento de ML.”
A missão da VentureBeat é ser uma praça digital para os tomadores de decisões técnicas obterem conhecimento sobre tecnologia empresarial transformadora e realizarem transações. Conheça nossos Briefings.