![Como dimensionar o RAG e construir LLMs mais precisos](https://optimuscloud.com.br/wp-content/uploads/2024/06/1718077445_Como-dimensionar-o-RAG-e-construir-LLMs-mais-precisos-150x150.png)
Como dimensionar o RAG e construir LLMs mais precisos
11 de junho de 2024![Snowflake, DataBricks e a luta pelas tabelas Apache Iceberg](https://optimuscloud.com.br/wp-content/uploads/2024/06/1718103605_Snowflake-DataBricks-e-a-luta-pelas-tabelas-Apache-Iceberg-150x150.jpg)
Snowflake, DataBricks e a luta pelas tabelas Apache Iceberg
11 de junho de 2024Com a IA generativa evoluindo tão rapidamente, os desenvolvedores estão sob pressão para incorporar tecnologias de IA em novos produtos e distribuí-los mais rápido do que nunca. Como resultado, a dívida técnica da IA generativa pode tornar-se um grande obstáculo que atrasa a inovação. Ao abordar os projetos de forma ponderada e estar consciente de onde ocorre essa dívida, os desenvolvedores podem minimizar os riscos e acelerar o ritmo de lançamento de novos produtos de IA.
Em primeiro lugar, é útil pensar sobre como a dívida técnica é incorrida. Existem três variáveis que se aplicam a qualquer projeto de software: o tempo que leva para ser concluído, a quantidade de recursos do desenvolvedor e o escopo — ou o tamanho do recurso que você está construindo. As altas demandas impostas aos desenvolvedores hoje significam que muitos projetos exigem compensações em pelo menos uma dessas variáveis, seja estendendo o prazo de entrega, comprometendo a qualidade ou sacrificando recursos. Muitas vezes, o débito técnico ocorre quando a qualidade é comprometida para colocar rapidamente os recursos desejados no mercado.
O que torna a IA generativa um caso especial
A IA generativa apresenta desafios específicos porque a tecnologia está a evoluir muito rapidamente, com novas ferramentas e modelos de linguagem a surgirem todas as semanas. Muitas organizações não possuem procedimentos padrão para desenvolver e testar IA generativa. Ao mesmo tempo, eles estão ansiosos para fornecer recursos de IA para ficar à frente dos concorrentes e fornecer diferenciação única.
Tudo isso torna os projetos generativos de IA especialmente suscetíveis a dívidas técnicas – e às vezes tudo bem. A dívida técnica não é sempre ruim, desde que seja incorrido intencionalmente com um plano para saldar essa dívida antes que ela se torne um obstáculo ao desenvolvimento futuro. A chave é reconhecer a diferença entre a dívida que é aceitável e a dívida que não o é.
Por exemplo, comprometer a qualidade dos modelos e dos dados de uma forma que afete a precisão raramente é, ou nunca, uma boa ideia. Os modelos de IA podem ter alucinações, levando a decisões de negócios erradas ou até mesmo a respostas ofensivas, o que pode resultar em danos à reputação ou em ações judiciais. Você nunca deve incorrer em dívidas técnicas que exponham sua organização a tais riscos.
Por outro lado, as empresas têm frequentemente processos de lançamento extensivos para garantir que as novas aplicações se alinhem com a arquitectura de TI existente e se integrem bem com outros sistemas. Esses processos podem adicionar meses aos prazos de entrega de aplicativos e é uma área que às vezes você pode comprometer, desde que tenha um plano para pagar a dívida com um próximo ciclo de lançamento.
Fazendo as escolhas certas para minimizar a dívida técnica
Em ambos os casos, existem medidas que pode tomar para minimizar o débito técnico, que se relacionam principalmente com a forma como os dados são entregues e geridos. Os aplicativos generativos mais valiosos baseados em IA combinam um modelo de IA com dados internos da empresa, portanto, a forma como os desenvolvedores se conectam e entregam esses dados aos aplicativos é uma importante área de foco.
Os dados que alimentam os modelos de IA precisam ser de alta qualidade para garantir bons resultados, e precisam ser governados, com foco na segurança e na privacidade. Os aplicativos também precisam de observabilidade abrangente para garantir que pipelines e modelos tenham desempenho ideal. Isso significa ter insights em tempo real para identificar e resolver com eficiência quaisquer problemas que possam surgir com os dados.
A chave para minimizar a dívida técnica aqui não é criar esses recursos de maneira ad hoc para cada aplicativo criado pelos desenvolvedores. Se você criar uma conexão personalizada para canalizar dados de um banco de dados para um modelo de linguagem grande, essa conexão provavelmente gerará um débito técnico que precisará ser resolvido posteriormente. E se você repetir isso várias vezes em vários aplicativos, o acúmulo de dívida técnica acabará por paralisar você.
Uma abordagem holística à conectividade e à governação
Em vez disso, renuncie à abordagem fragmentada para uma plataforma que tenha capacidades integradas para governança e gerenciamento de dados. Uma plataforma em nuvem deve impor determinados protocolos e métodos de implantação, garantindo que os aplicativos possam ser mais facilmente integrados ao ambiente de TI mais amplo e conectados a sistemas para observabilidade, controle de acesso e outras necessidades.
Também é importante selecionar uma plataforma na qual seu aplicativo generativo de IA possa ser implantado próximo aos seus dados, para que as funções e permissões sejam respeitadas sem que os desenvolvedores precisem configurá-las no back-end. Escolher uma plataforma com governança integrada na forma de observabilidade, qualidade de dados, segurança e auditoria significa que esses serviços são fornecidos sem que você precise construí-los. Ao aproveitar os serviços e padrões pré-construídos, você pode minimizar o trabalho personalizado, o que, por sua vez, minimiza o débito técnico.
Compare isso com uma abordagem fragmentada. Novas ferramentas e estruturas interessantes para IA generativa são lançadas semanalmente, mas a adoção de uma abordagem à la carte cria uma nova forma de shadow IT. Os líderes podem se proteger contra isso criando proteções e práticas recomendadas para as equipes seguirem. Eles devem identificar ferramentas e estruturas aprovadas que se integrem à plataforma de dados da organização e estejam alinhadas com as necessidades da empresa — o que significa que sejam robustas, escaláveis e possam atender aos requisitos de conformidade, segurança e gerenciamento.
Construir aplicações de IA desta forma consistente minimiza a dívida técnica e, por sua vez, acelera o progresso no futuro. Se você criar uma prova de conceito que mais tarde deseja escalar na produção, por exemplo, poderá conseguir isso muito mais rapidamente trabalhando em um ambiente que já tenha conexões com seus dados de missão crítica e onde as necessidades de governança e segurança já sejam atendidas .
O futuro está chegando, mas ainda não chegou
A IA generativa está a evoluir rapidamente e a própria tecnologia poderá eventualmente ajudar a eliminar a dívida técnica, em vez de contribuir para ela. Já temos copilotos que podem escrever código, e não é difícil imaginar um momento em que a IA será capaz de analisar o código que você está escrevendo, identificar áreas de dívida técnica e sugerir maneiras de resolvê-la. Mas isso é no futuro. Por enquanto, precisamos construir aplicativos de uma forma que minimize o endividamento e não crie obstáculos à inovação no futuro. Isso significa construir um ambiente que impõe as melhores práticas para obter e entregar dados de forma segura e governada.
A postagem Aproveite o poder da GenAI sem afundar em dívidas técnicas apareceu pela primeira vez em The New Stack.