Se você estivesse fazendo uma lista de palavras-chave de TI que as pessoas adoram usar, mas muitas vezes têm dificuldade para definir com precisão, pilha de dados moderna seria um bom candidato. Embora se fale muito hoje sobre a importância de modernizar as pilhas de dados para trabalhar com dados de forma mais eficiente, entender exatamente como é uma pilha de dados moderna — ou o que a torna diferente das pilhas de dados tradicionais — pode ser bastante desafiador para organizações que buscam para modernizar sua abordagem aos dados.
Não posso afirmar ser o árbitro da definição oficial da pilha de dados moderna porque não existe uma definição oficial. Em última análise, este é um conceito um tanto subjetivo. Mas, como alguém com vasta experiência no domínio do gerenciamento de dados moderno, gostaria de pensar que sei algumas coisas sobre como as pilhas de dados evoluíram ao longo da última década e o que realmente define uma pilha de dados moderna.
Portanto, permita-me oferecer alguma perspectiva sobre o que realmente significa a pilha de dados moderna, descrevendo o histórico das pilhas de dados e, em seguida, discutindo as principais características de uma pilha de dados moderna.
Uma (muito) breve história das pilhas de dados
Uma pilha de dados é o conjunto de ferramentas que uma organização usa para coletar, processar, analisar, interpretar e armazenar informações digitais. Como as empresas trabalham com dados digitais há muito tempo – pelo menos desde a década de 1980 ou 1990, em muitos casos – as pilhas de dados já existem há algum tempo.
Nos primórdios dos dados digitais, a maioria das pilhas de dados assumia a forma de plataformas projetadas para serem soluções completas de coleta, análise e armazenamento de dados. Normalmente, essas eram soluções executadas no local e que exigiam muitas habilidades específicas para serem gerenciadas.
Então, na década de 2000, as organizações começaram a migrar para a nuvem, o que levou a rápidas transformações na forma como desenvolviam e implantavam software. As pilhas de dados, no entanto, ficaram para trás. Muitas empresas permaneceram vinculadas a plataformas de dados locais legadas até a década de 2010.
Isto mudou apenas de forma lenta e incremental, com as empresas trocando partes de suas pilhas de dados legados por soluções mais modernas, uma por uma. Na organização típica, a jornada rumo a uma pilha de dados moderna começou com a implementação de um data warehouse, que tornou o armazenamento de dados muito mais flexível e escalável. Depois vieram as ferramentas de processamento de dados baseadas na nuvem, que libertaram as organizações da dependência da infraestrutura local para transformação e análise de dados. Eventualmente, as soluções de catalogação, visibilidade e governança de dados baseadas na nuvem passaram a ser amplamente utilizadas, completando a migração para pilhas de dados totalmente modernas.
Os recursos definidores da pilha de dados moderna
Agora que você conhece o processo histórico que levou à implementação da pilha moderna em muitas organizações e os principais tipos de ferramentas que a pilha de dados moderna inclui, vamos falar sobre o que torna esse tipo de solução diferente das pilhas de dados “não modernas”.
Para mim, as principais características distintivas de uma pilha de dados moderna incluem:
A capacidade de selecionar ferramentas modularmente: em vez de ficarem vinculados à plataforma e ao ecossistema de gerenciamento de dados ponta a ponta de um fornecedor específico, as pilhas de dados modernas permitem que as organizações misturem e combinem soluções. Você pode usar um data warehouse de uma empresa e uma ferramenta de processamento de dados de outra, por exemplo.
Arquitetura centrada na nuvem: na pilha de dados moderna, os dados permanecem e são gerenciados na nuvem por padrão. Cargas de trabalho locais também são suportadas, é claro, mas a nuvem é o foco de fato.
Processos ágeis: Como o desenvolvimento de software moderno, onde o filosofia ágil predomina há décadas, os processos que impulsionam o gerenciamento de dados são ágeis, flexíveis e iterativos.
Colaboração: Na mesma linha, a pilha de dados moderna permite uma abordagem colaborativa que permite que vários grupos de partes interessadas trabalhem com dados usando um conjunto de ferramentas central. Isso permite Operações de dadosa visão mundial do gerenciamento de dados sobre DevOps.
O futuro da pilha de dados
Esses são os recursos que tornam a pilha de dados moderna tão valiosa para as empresas hoje — e explicam por que, apesar de alguns reivindicações que a pilha de dados moderna está a tornar-se irrelevante (em grande parte devido à noção de que a IA generativa tornará menos importante a gestão e interpretação de dados de formas tradicionais), a pilha de dados moderna tal como a conhecemos não deverá desaparecer tão cedo.
Pelo contrário, no meu trabalho para ajudar as empresas a modernizar as suas pilhas de dados, vejo um interesse cada vez maior no investimento das empresas em tecnologias modernas de pilha de dados. A IA generativa pode estar na moda, mas as soluções de armazenamento, processamento, visibilidade e governação de dados são onde as empresas estão realmente a gastar o seu dinheiro.
Conclusão
Até certo ponto, o significado da pilha de dados moderna está nos olhos de quem vê. No entanto, existem alguns diferenciais claros entre as ferramentas modernas de gestão de dados e de governação e aquelas que estavam em utilização nas décadas anteriores. Vista dessa perspectiva, a pilha de dados moderna é muito mais do que uma palavra da moda. É um ingrediente essencial para ajudar as empresas a fazer mais com seus dados.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
Daniel Avancini é diretor de dados e cofundador da Indicium, uma consultoria de IA e dados que ajuda empresas a obter vantagem analítica por meio de dados. Ele é especialista em ajudar empresas a construir sua pilha de análises modernas usando ferramentas e processos de ponta…
Este site utiliza cookies para melhorar sua experiência de navegação. Ao continuar, você concorda com o uso de cookies. Para mais informações, consulte nossa Política de Privacidade.
Funcional
Sempre ativo
O armazenamento ou acesso técnico é estritamente necessário para a finalidade legítima de permitir a utilização de um serviço específico explicitamente solicitado pelo assinante ou utilizador, ou com a finalidade exclusiva de efetuar a transmissão de uma comunicação através de uma rede de comunicações eletrónicas.
Preferências
O armazenamento ou acesso técnico é necessário para o propósito legítimo de armazenar preferências que não são solicitadas pelo assinante ou usuário.
Estatísticas
O armazenamento ou acesso técnico que é usado exclusivamente para fins estatísticos.O armazenamento técnico ou acesso que é usado exclusivamente para fins estatísticos anônimos. Sem uma intimação, conformidade voluntária por parte de seu provedor de serviços de Internet ou registros adicionais de terceiros, as informações armazenadas ou recuperadas apenas para esse fim geralmente não podem ser usadas para identificá-lo.
Marketing
O armazenamento ou acesso técnico é necessário para criar perfis de usuário para enviar publicidade ou para rastrear o usuário em um site ou em vários sites para fins de marketing semelhantes.