Conversa real: Por que o Datadog é tão caro?

Eu vi tantos X (anteriormente conhecido como Twitter), tópicos Reddit e HackerNews discutindo recentemente os altos custos do Datadog. É um tema tão quente que os engenheiros estão postando em blogs sobre suas abordagens às métricas de queda de força bruta.

Mas como chegamos aqui? Por que esses custos são tão altos? Por que as empresas estão pagando mais pela sua observabilidade do que pela sua infraestrutura de produção? Há muitas acusações e alegações de aprisionamento e ganância corporativa, que certamente são parcialmente responsáveis.

Há um problema subjacente maior: as mudanças fundamentais na arquitetura que acompanham a adoção de infraestrutura em contêineres e aplicativos de microsserviços. Se não compreendermos e não resolvermos esta questão, a história irá repetir-se.

Divulgação: Eu trabalho para um concorrente do Datadog

OK, é verdade, trabalho para a Chronosphere, uma empresa que concorre com a Datadog. Eu prometo que este artigo não apresentará nosso produto. Datadog é um forte concorrente e há anos o vejo construir um negócio incrível.

Minha empresa anterior foi parceira próxima da Datadog de 2015 a 2018, e observamos seu crescimento meteórico, que queríamos desesperadamente imitar. Ao mesmo tempo, observei os clientes da Datadog ficarem cada vez mais insatisfeitos com os custos exorbitantes e imprevisíveis, mas eles sentiram que não poderiam sair.

Isso foi parte do que me levou a ingressar na Chronosphere em 2021, quando vi essa tendência chegando ao auge. Antes de ingressar neste espaço, fiz alguns dimensionamentos e análises de mercado e determinei que a observabilidade tinha o maior apego aos gastos com infraestrutura: para cada US$ 1 gasto em nuvem pública, você provavelmente estará gastando entre US$ 0,25 e US$ 0,35 em observabilidade. Isso me pareceu um mercado pronto para ser perturbado.

O verdadeiro culpado: crescimento de dados

A causa raiz do problema é simples: existe uma muito mais dados de observabilidade (métricas, logs, rastreamentos e eventos) do que essas ferramentas jamais previram. Como tal, eles não são arquitetados para este volume de dados nem têm preços adequados. Existem vários motivos pelos quais acabamos com tantos dados.

Motivadores de negócios:

1. Transformação digital: A infusão de tecnologia em mais setores empresariais vem naturalmente com mais dados para supervisionar a saúde do sistema e garantir o bom funcionamento geral do sistema.
2. Maiores expectativas do cliente com maiores riscos: De acordo com o Relatório de Confiabilidade Online de 2023, em média, os americanos toleram menos de quatro casos de falta de confiabilidade ou interrupção em um aplicativo ou site antes de mudar para um concorrente. A operação de serviços de alto desempenho e alta disponibilidade que proporcionam uma experiência excepcional ao cliente requer dados de observabilidade mais granulares.
3. Acumulação de dados: Pode ser difícil saber quais dados são úteis quando você obtém muitos deles minuto a minuto. Sem as ferramentas certas para analisá-los, você pode cair na armadilha de “Nunca sei quando vou precisar desses dados” e ficar com muito mais dados do que o necessário.

Drivers técnicos:

1. Mais dados de telemetria gerados por contêineres e microsserviços: Os ambientes nativos da nuvem (ou seja, contêineres e microsserviços) têm vantagens significativas, mas naturalmente produzem mais dados porque é necessário monitorar a integridade de cada componente e serviço individual. Por exemplo, cada contêiner e microsserviço agora emite tantos dados de observabilidade quanto cada máquina virtual (VM) e aplicativo monolítico costumavam fazer. Mas agora, em vez de dezenas de VMs e alguns aplicativos, você tem milhares de contêineres e dezenas de microsserviços.
2. Escala de alguns ambientes nativos da nuvem: Por definição, o nativo da nuvem é descentralizado – e as equipes de engenharia podem criar componentes rapidamente – o que significa um número exponencialmente crescente de serviços e contêineres gerando dados.

Esse crescimento de dados faz com que os gastos com observabilidade disparem. Sem alterar os modelos de preços ou software para dar conta do crescimento dos dados – e manter os preços baseados em padrões de monitoramento legados – as arquiteturas nativas da nuvem tornaram-se repentinamente incrivelmente caras para serem executadas.

Por que o Datadog não pode simplesmente reduzir seus preços?

Suspeito que haja duas razões para isso:

1. Valor para o acionista: As ações da Datadog tiveram um desempenho fenomenal nos últimos anos. Se baixasse os preços, teria um impacto imediato nas receitas, o que teria impacto nos lucros reportados, o que faria cair o preço das ações.
2. Custo de bens vendidos: Datadog passou por três gerações de arquitetura, com seu mais recente, Husky, lançado em 2022. Essa rearquitetura foi focada principalmente na eficiência, mas não reduziu os preços, então presumo que contribuiu para reduzir o custo dos produtos vendidos (CPV ) e obtendo margens para um lugar saudável. Como a Datadog provavelmente não investirá em outra rearquitetura muito em breve, ela não comprometerá suas margens reduzindo os preços.

Alternativas para oDatadog

Existem algumas opções se você não quiser pagar pelo Datadog.

Nº 1: código aberto faça você mesmo

Uma alternativa atraente é executar internamente sua própria observabilidade com ferramentas de código aberto. A boa notícia é que, pelo menos para métricas e rastreamentos, as ferramentas de código aberto já percorreram um longo caminho e estão se unindo em padrões aceitos pelo setor. Prometheus e OpenTelemetry com uma variedade de backends de banco de dados de série temporal (Mimir, Thanos ou M3) são alternativas viáveis ​​ao Datadog.

Mas é importante observar que isso normalmente não economizará dinheiro em dólares reais. É simplesmente trocar CapEx por OpEx. O custo humano e de infraestrutura para operar esses sistemas não é trivial e, se você tentar economizar, poderá se arrepender.

Recentemente, eu estava conversando com um amigo que transferiu sua empresa de uma cara oferta comercial de SaaS para ferramentas internas de código aberto. Ele admitiu que a empresa não está realmente economizando dinheiro quando leva em conta o fato de que cerca de 8% de seu quadro de desenvolvedores está agora dedicado à execução deste sistema.

Nº 2: Ferramentas de observabilidade de última geração

Esta não é a parte em que apresento o produto da minha empresa. É aqui que direi que as ferramentas estão sendo construídas com a suposição subjacente de crescimento de dados desde o início. O custo da solução fica sempre nas mãos do cliente, para que você não tenha excessos surpresa.

Assim como Datadog, New Relic e ferramentas semelhantes substituíram a geração anterior de Solarwinds e BMC e CA Technologies, esta nova geração de ferramentas de observabilidade está começando a fazer ondas. Converse com esses fornecedores e entenda como eles estão lidando com o problema de muitos dados de observabilidade da fonte em vez de prendê-los com uma melhor economia unitária.

Conclusão

As contas altas do Datadog e a dependência de fornecedores tornaram-se de alguma forma um mal necessário; você sabe que precisa de observabilidade, mas não tem certeza de todas as opções. O Datadog existe há tempo suficiente para parecer uma opção viável, apesar de suas práticas de cobrança e código proprietário. Mas não precisa ser assim.

À medida que mais empresas de observabilidade entram no mercado, também entram opções criadas para lidar com o crescimento de dados de alta cardinalidade desde o início. Aqueles que oferecem mais flexibilidade com sua infraestrutura, maior controle de seus dados e mais visibilidade em sua fatura mensal e, em última análise, preparam equipes de observabilidade para um modelo de operações mais sustentável e econômico.