![Nova técnica ajuda os LLMs a melhorar o raciocínio, ignorando informações irrelevantes](https://optimuscloud.com.br/wp-content/uploads/2024/01/Nova-tecnica-ajuda-os-LLMs-a-melhorar-o-raciocinio-ignorando.webp.jpeg)
Nova técnica ajuda os LLMs a melhorar o raciocínio, ignorando informações irrelevantes
13 de janeiro de 2024![Exclusivo: Microsoft e Google unem forças no OneTable, uma solução de código aberto para desafios de data lake](https://optimuscloud.com.br/wp-content/uploads/2024/01/Exclusivo-Microsoft-e-Google-unem-forcas-no-OneTable-uma-solucao.png)
Exclusivo: Microsoft e Google unem forças no OneTable, uma solução de código aberto para desafios de data lake
13 de janeiro de 2024Os dados são a força vital das empresas modernas, mas mobilizá-los está longe de ser fácil. As empresas precisam seguir várias etapas apenas para garantir que estão aproveitando ao máximo (se não todas) as informações provenientes de diferentes fontes.
Agora, à medida que o volume dessas informações aumenta, a Expanso, sediada em Seattle, está se movendo para oferecer às equipes uma maneira melhor de lidar com seus ativos de dados com processamento distribuído. A empresa anunciou hoje que levantou US$ 7,5 milhões em uma rodada inicial de financiamento, liderada pela General Catalyst e Hetz Ventures.
Planeia utilizar o capital para duplicar esta ideia, acelerar o desenvolvimento da sua plataforma de processamento de dados ‘Bacalhau’ e levá-la a ainda mais utilizadores empresariais, dando-lhes a capacidade de processar informação onde ela está.
“A infraestrutura construída para atender os dados onde eles estão, mesmo que distribuídos ao redor do mundo, está muito atrasada. O que a Expanso está a construir com Bacalhau pretende revolucionar a forma como o big data é processado e os trabalhos de computação globais são executados, ao mesmo tempo que desbloqueia uma classe inteiramente nova de aplicações”, disse David Aronchick, fundador e CEO da empresa, num comunicado.
Enfrentando o problema dos dados distribuídos
No esquema atual, as empresas extraem valor de grandes quantidades de dados, movendo-os através de redes através de pipelines ETL complexos e centralizando tudo em uma plataforma de dados em nuvem. A abordagem funciona bem (permitindo aplicações de BI/IA), mas também exige muito tempo e recursos financeiros ao mesmo tempo.
Aronchick, que foi o primeiro gerente de produto não-fundador do Kubernetes e gerente de produto líder do Google, foi rápido em notar o desafio dessas cargas de trabalho distribuídas globalmente durante diferentes estágios de sua carreira.
“Os clientes sempre traziam soluções que eles mesmos tiveram que construir para resolver o problema das cargas de trabalho distribuídas globalmente”, disse ele ao VentureBeat. Para completar, a rápida explosão de dados empresariais em comparação com o crescimento da rede também não ajudou. No Protocol Lab, última empresa onde o CEO trabalhou, mais de 10 Exabytes (EB) de dados estavam espalhados por toda a rede. Em uma rede padrão de 10 GBps, essa quantidade de dados levaria bilhões de anos para ser transferida para uma plataforma em nuvem.
Para enfrentar esse desafio, ele lançou um projeto para permitir que as pessoas executassem tarefas de computação localmente onde os dados estavam sendo armazenados, o que acabou resultando no Expanso.
“Lançamos o projeto em fevereiro de 2022, construindo o sistema inteiramente em código aberto e de domínio público. Muito rapidamente depois, tivemos a nossa primeira cimeira Compute over Data em abril, e percebemos, mesmo nesta fase inicial, que isto seria muito maior do que apenas o Filecoin (do protocolo). Em novembro, lançamos nosso alfa público e, em seguida, lançamos a versão 1.0 em maio de 2023. Ao mesmo tempo, fechamos nosso financiamento pré-semente e transferimos o projeto para a nova empresa”, disse ele.
Hoje, a Expanso chama esse projeto de código aberto de Bacalhau. Ele é executado nos sistemas distribuídos que as organizações já implantaram (ou planejam implantar) e agenda tarefas de computação em relação aos dados exatamente onde eles residem. Para começar, basta dar um comando para instalar um agente Bacalhau nas máquinas e aderir a uma rede de nuvem pública/privada. À medida que as necessidades analíticas crescem, podem adicionar mais capacidade através do provisionamento de nós adicionais de Bacalhau.
“Idealmente, as equipes quase não precisarão reescrever o código para usar nossos fluxos de trabalho. Já suportamos Docker e WASM, e qualquer binário arbitrário que eles já usam… O fluxo de trabalho da perspectiva de uma equipe é mais simples e ágil com Bacalhau e Expanso”, explicou Aronchick.
Quando este produto está em uso, as equipes podem analisar dados locais instantaneamente usando nós leves do Bacalhau instalados junto com a infraestrutura existente. Ele reduz a sobrecarga operacional da replicação de data centers ou do gerenciamento da movimentação de dados entre nuvens e permite que as organizações usem recursos de computação de ponta ociosos, levando a economias adicionais de custos. Mais importante ainda, o processamento de dados in situ aumenta a segurança e a velocidade, ao mesmo tempo que reduz o risco de multas regulatórias.
Crescimento até agora
Atualmente, Bacalhau pode lidar com uma série de tarefas de dados, desde a higienização e processamento de logs de aplicativos na origem e execução de treinamento de ML distribuído em dispositivos remotos até o processamento de arquivos de dados distribuídos em armazenamento e regiões variadas e gerenciamento de frotas de dispositivos distribuídos.
De acordo com Aronchick, desde o lançamento da sua demonstração pública no início deste ano, Bacalhau foi usado para executar mais de 2 milhões de empregos em vários casos de uso. Ele se recusou a compartilhar estatísticas exatas de crescimento de receita, mas observou que a empresa está trabalhando com pesos pesados como a Marinha dos EUA, CalTech, Universidade de Maryland, Prelinger Labs, WeatherXM e outros.
Seguindo em frente, a empresa espera desenvolver seu trabalho e evoluir o Bacalhau para oferecer suporte a casos de uso corporativo adicionais e atender às principais necessidades dos clientes. Também planeja expandir a base de usuários da plataforma, que atualmente recebe mais de 50.000 downloads CLI por mês.
A missão da VentureBeat é ser uma praça digital para os tomadores de decisões técnicas obterem conhecimento sobre tecnologia empresarial transformadora e realizarem transações. Conheça nossos Briefings.