![20 anos em construção, GnuCOBOL está pronto para a indústria](https://optimuscloud.com.br/wp-content/uploads/2024/03/1710518405_20-anos-em-construcao-GnuCOBOL-esta-pronto-para-a-industria-150x150.png)
20 anos em construção, GnuCOBOL está pronto para a indústria
15 de março de 2024![Como armazenar embeddings na pesquisa vetorial e implementar RAG](https://optimuscloud.com.br/wp-content/uploads/2024/03/1710532286_Como-armazenar-embeddings-na-pesquisa-vetorial-e-implementar-RAG-150x150.jpg)
Como armazenar embeddings na pesquisa vetorial e implementar RAG
15 de março de 2024Até recentemente, a janela para a administração bem-sucedida do tratamento a um paciente com AVC era extremamente estreita – aproximadamente duas horas – após o que o tratamento é menos eficaz. Mas a RapidAI está trabalhando para mudar isso por meio do uso de inteligência artificial (IA) clínica profunda. A empresa de IA de saúde oferece análise de imagens para ressonância magnética (MRI) e exames de CTA (angiografia por tomografia computadorizada) sem contraste e com contraste.
O núcleo da tecnologia RapidAI vem da pesquisa do Stanford Stroke Center. Dr. Greg Albers, um dos cofundadores da RapidAI, e sua equipe usaram tecnologia de imagem avançada para expandir a janela de tratamento do AVC isquêmico, o tipo mais comum de AVC.
A sua investigação esclareceu a evolução da isquemia cerebral e, em 2018, levou à extensão da janela ideal de tratamento do AVC isquémico de aproximadamente duas para 24 horas. “Dizemos que ‘tempo é cérebro’ porque milhões de células cerebrais e neurônios morrem a cada minuto durante um acidente vascular cerebral”, diz Amit Phadnis, diretor de inovação e tecnologia da RapidAI.
Como RapidAI acelera o diagnóstico de AVC
RapidAI atua como assistente, apoiando médicos e radiologistas na tomada de decisões sobre cuidados. Especificamente para pacientes com AVC, o RapidAI fornece informações vitais sobre se o paciente está (ou tem alto risco de) ter um AVC. Nesse caso, oferece informações mais detalhadas dependendo se o AVC é isquêmico ou hemorrágico.
O primeiro nível de algoritmos realiza triagem e notificação para indicar se a IA suspeita de hemorragia. Uma única tomografia computadorizada pode ter algo entre 700 e 1.500 cortes (imagens) e, se você suspeitar de hemorragia, deverá encontrá-la em algum lugar dessa série.
“Tentamos localizar onde está o problema, depois quantificar a largura, o volume ou a área de superfície e caracterizar o estado da doença desse tecido específico”, diz Phadnis. “Em seguida, criamos uma visualização em uma imagem secundária para mostrar o que o algoritmo de IA está encontrando. Isso torna a IA muito mais clara, para que o médico possa voltar à imagem original, examinar os cortes e ver o que realmente está acontecendo.”
Entre outras coisas, isto ajuda o médico a identificar os pacientes que podem ser transferidos, o que já fez uma enorme diferença em termos de resultados bem sucedidos dos pacientes, diz Phadnis. “Imagine descobrir que você tem 24 horas para transferir um paciente de um ambiente rural para um centro de AVC mais abrangente, onde você pode intervir, remover o coágulo e ainda ser capaz de salvar funções vitais desse paciente”, diz ele.
Arquitetura Original Precisava de Melhorias
O principal produto da RapidAI está disponível como plataforma e aplicativo móvel, com resultados distribuídos por meio do aplicativo e outros canais, como e-mail. O aplicativo móvel possui recursos integrados de fluxo de trabalho e comunicação, para que os médicos de uma equipe de AVC possam interagir e compartilhar imagens.
O sistema está implantado em cerca de 2.250 hospitais em 100 países. Atualmente, ele processa cerca de 14.000 digitalizações por dia, e o volume de digitalizações aumenta 30% a cada ano. À medida que a empresa se expande para novos produtos, isso poderá aumentar ainda mais rapidamente. “Temos produtos planejados onde nosso volume de digitalização pode ser 10 vezes maior”, diz Phadnis.
A arquitetura original era baseada em um servidor local no data center de cada hospital onde os algoritmos de IA eram executados. RapidAI sempre teve uma presença na nuvem para distribuir resultados para dispositivos móveis, mas todo o processamento foi feito no local. Embora a RapidAI fosse proprietária do servidor, a equipe de TI de cada hospital controlava o ambiente em que o servidor era implantado, incluindo a rede do campus e os firewalls no perímetro do hospital.
Além disso, a gestão da infra-estrutura era um desafio significativo. Como não tinham automação e gerenciamento centralizado, para realizar atualizações do sistema eles precisavam de acesso VPN ou de enviar um engenheiro de campo ao hospital — ambos os quais aumentam os custos e limitam a frequência com que as atualizações são feitas.
Pilha de software e arquitetura Edge-to-Cloud da RapidAI
Para resolver este problema, a RapidAI desenvolveu o que afirma ser a única plataforma edge-to-cloud no setor de saúde. Phadnis diz que isso lhes dá três vantagens principais. “Primeiro, permite-nos suportar o processamento dos modelos de IA na borda e na nuvem. Em segundo lugar, podemos executar vários algoritmos em paralelo, tanto na nuvem quanto no local, enquanto antes tínhamos que executá-los um após o outro em série. E terceiro, do ponto de vista da segurança cibernética, podemos voltar dinamicamente da nuvem para o local, ou vice-versa, no caso de um evento cibernético”, diz ele.
A nova arquitetura também pode ser integrada a algoritmos de terceiros e direcioná-los através do mesmo fluxo de trabalho.
Phadnis enfatiza que a oferta de um serviço médico tão crítico torna essencial a continuidade dos negócios; você não quer que um diagnóstico seja atrasado devido a uma atualização do sistema operacional, por exemplo. “Usando o Palette, podemos monitorar tudo, tanto na nuvem quanto no local”, diz Phadnis. “E podemos automatizar a implantação e atualizar toda a pilha — desde o sistema operacional até todos os nossos algoritmos em campo — de forma integrada, com um único clique, sem afetar o atendimento ao paciente. Isso foi absolutamente crítico para nossos clientes e nossa equipe de operações, dada a escala da implantação.”
Privacidade e Continuidade
Do ponto de vista do software, a empresa utiliza uma ampla variedade de linguagens. “Todo o nosso processamento em nuvem está em Go, mas usamos tudo, desde Python a C++, Java, JavaScript e TypeScript, além de Swift no lado móvel para iOS”, explica Phadnis.
O sistema completo, incluindo os algoritmos de IA, é totalmente conteinerizado usando Docker e Kubernetes com Spectro Cloud Palette usado para implantar e gerenciar a pilha. Eles escolheram o Spectro em vez de seus concorrentes por vários motivos. “Ficamos realmente impressionados com a qualidade da equipe Spectro”, diz Phadnis. “A solução deles era abrangente e se adaptava particularmente bem ao nosso caso de uso na área da saúde.”
Para evitar tempo de inatividade relacionado ao hardware, o Spectro Cloud forma um cluster de borda Kubernetes de três ou cinco nós, que é tolerante a falhas de hardware em um ou mais nós. Spectro Cloud pode suportar dispositivos físicos e dispositivos virtuais, embora o RapidAI use apenas o último.
Dentro do cluster, todas as atualizações acontecem de forma contínua, onde nós únicos são consecutivamente desconectados e atualizados antes de ingressarem no cluster. Eles mantêm uma partição A/B, com o sistema operacional anterior e a versão do Kubernetes na partição A. “Quando atualizamos, colocamos a nova versão na partição B e alteramos a ordem de inicialização”, explica Tenry Fu, CEO e cofundador da Spectro Cloud. “Então, se por algum motivo a atualização falhar, o sistema irá reverter automaticamente e reinicializar na partição A. Isso efetivamente mantém um ‘último estado bom conhecido’”.
Para monitorar os clusters, o Spectro Cloud possui um agente de métricas integrado ao edge cluster, que coleta periodicamente todas as informações de saúde do sistema. Também é personalizável. “Um dos maiores problemas do RapidAI é a falta de espaço em disco”, explica Fu. “Portanto, quando o espaço disponível em disco atinge um determinado limite, eles precisam ser alertados.”
Os dados que o RapidAI trata são extremamente confidenciais do ponto de vista da privacidade e os regulamentos variam muito de acordo com a jurisdição. “Cada sistema que implantamos tem políticas diferentes em relação às informações de saúde protegidas (PHI), sobre quais informações podem ou não ser carregadas na nuvem, o que pode ser enviado para o dispositivo móvel e assim por diante”, diz Phadnis.
“Temos configurações onde existe um centro de competência com servidor Rapid que atende quatro ou cinco hospitais. A configuração varia para cada módulo de IA — de acordo com o centro de competência ou sistema de saúde e também por local. Temos que ser capazes de monitorizar e controlar essa configuração à escala global, o que não é um problema trivial. A equipe da Spectro Cloud tem nos ajudado a chegar ao ponto em que temos um painel único através do qual podemos monitorar toda a nossa infraestrutura.”
Os cuidados de saúde são fortemente regulamentados e o RapidAI tem aprovações em 66 países diferentes e está implementado em 100. No entanto, isto significa que não pode utilizar dados de digitalização para melhorar continuamente o algoritmo, mesmo que isso seja tecnicamente possível. “Temos um relacionamento muito bom com a FDA, mas do ponto de vista regulatório ou da FDA, não é possível atualizar dinamicamente um algoritmo em campo e simplesmente implantá-lo”, diz Phadnis. “Se houver qualquer alteração na indicação clínica, é compreensível que ela precise ser reaprovada”.
Atendendo às necessidades futuras
Para fortalecer ainda mais sua história de segurança, a equipe da Spectro Cloud está trabalhando para obter segurança de ponta. Em 2023, eles publicaram um white paper com a Intel sobre Secure Edge-Native Architecture para fornecer criptografia e segurança ponta a ponta em arquiteturas x86. “Isso abrange como lidar com o registro seguro de dispositivos, inicialização segura, criptografia inviolável em repouso, criptografia na memória e atualizações seguras”, diz Fu. A empresa também está atualmente fazendo parceria com Intel, Qualcomm e Nvidia para oferecer os mesmos níveis de suporte para sistemas baseados em ARM.
Fu, da Spectro Cloud, acredita firmemente que o processamento de IA irá cada vez mais para o limite e ele vê isso como o ponto ideal de sua empresa. “Você tem muitos dados gerados diretamente no local de ponta – em hospitais, por tomografias computadorizadas ou máquinas de ressonância magnética – e não é econômico em termos de desempenho enviar tudo para a nuvem para processamento”, diz ele.
“Você precisa que a computação fique mais próxima de onde os dados estão, para poder processá-los mais rapidamente. Todos os novos aplicativos e cargas de trabalho de IA precisam do Kubernetes e, às vezes, precisam de clusters do Kubernetes para obter alta disponibilidade. Kubernetes na borda junto com recursos de gerenciamento centralizado tornam-se uma combinação interessante. Também temos recursos locais de IA que continuamos a melhorar – por exemplo, sermos capazes de executar inferências distribuídas e reduzir a dependência de GPUs.”
RapidAI continua a fortalecer seu portfólio e se expande para novas geografias. A empresa tem muita experiência em doenças vasculares em geral e pode, portanto, expandir-se para vários estados de doenças agudas e não agudas, como embolia pulmonar e aneurisma. Ela também vê uma demanda crescente por sua tecnologia em ensaios clínicos na indústria farmacêutica.
“Nosso propósito é muito forte”, diz Phadnis. “Nossos funcionários estão bem conscientes de que cada minuto que gastam é usado para salvar a vida de alguém. Encaminhamos mais de um milhão de pacientes para procedimentos que salvaram vidas como resultado dos resultados rápidos, e esse número continua aumentando.”
Aprender mais sobre Pesquisa da RapidAI na aceleração e melhoria dos cuidados com o AVC e Soluções da Spectro Cloud para gerenciar infraestrutura e aplicativos Kubernetes na borda.
A postagem Como RapidAI usa Edge, Kubernetes e IA para impulsionar o tratamento de AVC apareceu pela primeira vez em The New Stack.