Por que você pode trazer seu próprio balde S3 (BYOB) para a festa de observabilidade

O futuro de uma empresa reside cada vez mais na recolha de insights a partir dos seus próprios dados e eventos de telemetria. Esta informação é valiosa para observabilidade e pode guiar uma empresa na direção certa. Assim, as empresas muitas vezes se esforçam para manter a propriedade e o controle sobre os dados gerados pela sua infraestrutura.

As empresas contratam ferramentas de monitoramento e observabilidade de terceiros por vários bons motivos. É menos manutenção e pode ser muito mais barato que as opções internas. ainda pode haver compensações. Talvez seja necessário coletar amostras de dados ou truncar o tempo de retenção para manter os custos baixos. O fornecedor pode cobrar para acessar seus dados para outras análises ou para carregar dados mais antigos do armazenamento frio. As políticas internas de conformidade da sua empresa podem impedir isso completamente.

Uma abordagem SaaS completa é melhor para a maioria das empresas. Mas, para alguns, é essencial armazenar e possuir todos os seus próprios dados e, ao mesmo tempo, conceder permissões de leitura e gravação a ferramentas SaaS de terceiros. No passado, esta opção simplesmente não era possível devido aos custos proibitivos e às arquiteturas não nativas da nuvem – mas isso mudou.

A mudança para a nuvem levou consigo os dados do cliente

Originalmente, as empresas capturavam, armazenavam e analisavam os seus dados no local, utilizando ferramentas locais. A computação em nuvem eliminou os custos e as despesas gerais de manutenção, mas os primeiros fornecedores de nuvem também projetaram seus sistemas para armazenar os dados de eventos de seus clientes no espaço do fornecedor para manter suas arquiteturas simples, eficientes e confiáveis.

Essa abordagem tem duas desvantagens potenciais para alguns clientes. Primeiro, a empresa que cria os dados acaba não os mantendo. Eles só poderão decidir sobre a duração da retenção se negociarem taxas para períodos de arquivamento mais longos no espaço do fornecedor. Eles não podem exportar dados de eventos para outras ferramentas para analisar como desejarem. Os fornecedores cobram das empresas pelo acesso aos dados, sejam taxas de retenção, taxas de reidratação ou taxas diretas de acesso aos seus próprios eventos.

Em segundo lugar, os custos de armazenamento e manuseio, agora desatualizados, dos primeiros fornecedores, além dos limites de suas arquiteturas para escalar com o volume de eventos das infraestruturas modernas, foram incorporados aos seus preços. À medida que o volume de dados e eventos de telemetria se expande de forma não linear, torna-se extremamente caro ingerir, armazenar e consultar 100% dos eventos por meio de ferramentas antigas. Isto tornou a amostragem uma abordagem padrão para o controle de custos.

A amostragem tem desvantagens óbvias que os clientes aprenderam a aceitar: ela ignora usuários individuais, esperando que uma pequena porcentagem fale por um grupo inteiro. Ele exclui dados para sempre que você só perceberá mais tarde que precisava manter. Isso força as empresas a decidir quais eventos serão importantes para a análise de segurança e por quanto tempo, quando os cibercriminosos passam a vida inventando novas maneiras de invadir por meio de comportamento aparentemente inócuo ao longo de meses ou até anos. Eles aprenderam a usar amostragem de negócios como vetor de ataque.

Excluir dados é comportamento de dinossauro

As melhores práticas precisam evoluir de manter apenas uma amostra de eventos gerados por um curto período de tempo para capturar 100%, manter 100% indefinidamente e analisar 100% sob demanda sem realizar ginástica de dados para conter custos com base em ferramentas e preços desatualizados.

As ferramentas de registro legadas podem levar anos para evoluir para sobreviver na nuvem moderna, mantendo os clientes e seus dados como reféns. Mas se você precisa possuir e controlar seu histórico de eventos, pergunte-se se existe uma maneira de fazer isso hoje. Afinal, você criou esses dados em primeiro lugar.

Por que você deve possuir e controlar seus dados e eventos de telemetria

Os dados mais importantes da sua empresa

Dados do evento tornou-se a força vital da empresa digital, refletindo um registro completo das interações entre humanos e máquinas. Você deve estar no controle desse ativo estratégico, quente e não filtrado, por vários motivos:

• Produtividade da equipe. Ter uma única fonte de verdade — toda a verdade — significa que desenvolvedores, operações, produtos, suporte ao cliente, segurança e até mesmo vendas podem tomar decisões mais rápidas, precisas e harmoniosas.
• Previsão. Você não consegue descobrir o que precisará no próximo ano com base em 30 dias de dados.
• IA de treinamento. Os motores de IA empresariais já são reais e você precisa abastecê-los com combustível de alta qualidade. Quanto mais detalhes e história você tiver para treiná-los, mais inteligentes eles se tornarão.
• O cliente. Os clientes acharão mais eficaz o envolvimento com sua empresa se cada ponto de contato – humano ou não – tiver acesso à mesma fonte completa de verdade.
• Impacto na carreira. Os líderes técnicos que aumentam a produtividade, a coesão da equipe, a precisão das previsões, a qualidade do produto e a satisfação do cliente chegarão ao topo.

Simplifique e otimize o fluxo de dados

Ter todos os dados do seu evento em um só lugar, sob seu controle, permite usá-los para análises variadas por meio de vários conjuntos de ferramentas. Você não precisa transformá-los, filtrá-los, pagar taxas a um fornecedor para manter seus dados por mais tempo ou pagar novamente para acessar os dados coletados para uso posterior.

Se você teve que parar no meio de um incidente para fazer perguntas como: “Posso executar uma consulta de alta cardinalidade nos últimos quatro meses de dados agora mesmo, sem ter que considerar onde os dados residem e quanto custam?” vai me custar”, você sabe como um único repositório completo pode tornar sua vida mais produtiva e reduzir os custos totais da empresa.

Como a Axioma pode ajudar

Projetamos o Axiom desde o início — rejeitando componentes prontos para uso para ingestão, armazenamento e consulta para criar nossos próprios métodos otimizados em cada etapa — para que seja acessível para as empresas capturar e manter 100% de seus dados e eventos de telemetria . No entanto, alguns clientes em potencial nos disseram que querem dar um passo adiante: eles querem que a Axiom use um de seus buckets S3, e não o nosso, para armazenamento. Eles querem nos pagar uma vez para ingerir e armazenar seus dados, depois ter a liberdade de mantê-los pelo tempo que quiserem e exportá-los para outras ferramentas sem nos pagar novamente.

Nós dissemos OK!

Simplificamos para os clientes a especificação de seu próprio bucket S3 como o local do armazenamento de dados da Axiom para seus eventos. Usando as ferramentas que fornecemos, eles podem acessar eventos em seus formatos brutos originais. Cobramos apenas uma vez para ingerir seus dados, após a qual eles podem fazer o que quiserem com eles, sem se perguntar qual será sua próxima fatura.

Nossa abordagem, que chamamos de BYOB (Traga seu próprio balde), aproveita a eficiência da nuvem sem retirar os dados das empresas ou forçá-las a excluir a maior parte deles para manter os custos baixos. Leva apenas alguns minutos para configurar o Axiom em uma configuração BYOB mediante solicitação. Certamente é menos complicado que o console AWS.

O tamanho e o valor dos dados de eventos das empresas – todos eles – continuarão a se multiplicar. Já representa a maior parte do volume de dados para a maioria das empresas, emergindo como os dados mais importantes que elas criam. Para traçar um caminho de sucesso para o futuro da sua empresa, você não pode se dar ao luxo de jogá-lo fora ou cedê-lo para que outra pessoa o mantenha e controle. Percebemos isso como antigos clientes, por isso a nossa missão desde o início foi fazer o melhor possível e acessível de todas as opções.

A postagem Por que você pode trazer seu próprio balde S3 (BYOB) para a festa de observabilidade apareceu pela primeira vez em The New Stack.