O BigQuery é um data warehouse totalmente gerenciado e sem servidor fornecido pelo Google Cloud, projetado para permitir consultas SQL rápidas e análises interativas de grandes conjuntos de dados. É escalonável e pode lidar com petabytes de dados, integrando-se a diversas ferramentas de análise de dados e business intelligence.
Ao aproveitar a infraestrutura do Google, o BigQuery oferece aos usuários uma plataforma altamente confiável para análise de dados sem a necessidade de gerenciamento de hardware ou software. Isto permite que as organizações se concentrem em extrair informações valiosas dos seus dados, em vez de se preocuparem com a tecnologia subjacente.
Isso faz parte de uma série de artigos sobre o custo do Google Cloud.
O Google oferece três edições do BigQuery, Standard, Enterprise e Enterprise Plus, bem como preços sob demanda.
A edição Standard do BigQuery oferece um nível básico de serviço para processamento e análise de dados. Ele opera em um modelo de computação com escalonamento automático, que ajusta automaticamente os recursos de computação com base na carga de trabalho, garantindo que as consultas sejam processadas de forma eficiente, sem a necessidade de escalonamento manual.
Com um tamanho máximo de reserva de 1.600 slots e até 10 reservas máximas por projeto de administração, esta edição foi projetada para atender cargas de trabalho de pequeno e médio porte. O preço da edição Standard segue um modelo de slot-hour com cobrança mínima de um minuto. No entanto, não oferece acesso a compromissos de capacidade, o que poderia reduzir custos para cargas de trabalho mais previsíveis.
Esta edição vem com objetivo de nível de serviço (SLO) mensal de ≥99,9%, garantindo alta disponibilidade para tarefas críticas de processamento de dados. Oferece algum grau de segurança e conformidade de dados, como chaves gerenciadas pelo Google para criptografia de armazenamento
O nível Standard não oferece recursos mais avançados do Google Cloud, como:
A edição Enterprise do BigQuery aprimora os recursos oferecidos na edição Standard. Ele mantém o modelo de computação com escalonamento automático, mas adiciona um nível básico de capacidade computacional, garantindo que os recursos estejam prontamente disponíveis para cargas de trabalho de alto volume.
Esta edição suporta um maior número de reservas máximas (até 200 por projeto de administração) e oferece compromissos de capacidade com planos de um e três anos, com descontos respectivos de 20% e 40%, para compromissos de maior prazo.
A edição Enterprise oferece um SLO mensal mais alto de ≥99,99%. Ele introduz controles de conformidade por meio do Assured Workloads e do VPC Service Controls, aprimorando a segurança dos dados, a conformidade regulatória e os recursos de segurança, como controle de acesso em nível de coluna, segurança em nível de linha, mascaramento dinâmico de dados e a opção de chaves gerenciadas pelo cliente (CMEK) para armazenamento. criptografia.
Além disso, esta edição oferece BigQuery ML para recursos integrados de aprendizado de máquina e BigQuery Omni, que permite executar consultas analíticas em dados armazenados no Amazon Simple Storage Service (Amazon S3) ou no Azure Blob Storage da Microsoft usando tabelas BigLake.
A edição Enterprise Plus do BigQuery é a oferta mais avançada e amplia os recursos da edição Enterprise com mais segurança de dados, conformidade e recursos de análise.
Assim como a edição Enterprise, ele opera em um modelo de cálculo de escalonamento automático com uma linha de base para capacidade computacional e suporta até 200 reservas máximas por projeto de administração. Os compromissos de capacidade estão disponíveis com os mesmos descontos da edição Enterprise para quem busca faturamento previsível e disponibilidade de recursos.
A edição Enterprise Plus oferece o mais alto nível de disponibilidade de serviço com um SLO mensal de ≥99,99%. Ele oferece os controles de segurança e conformidade mais abrangentes, incluindo mascaramento de dados personalizado, além dos recursos de segurança disponíveis na edição Enterprise.
Esta edição oferece suporte exclusivo à criação, atualização automática e consulta direta de visualizações materializadas com ajuste inteligente, permitindo desempenho de consulta mais eficiente e insights mais rápidos. Assim como a edição empresarial, ela fornece acesso ao BigQuery ML e ao BigQuery Omni.
O modelo de preços sob demanda do BigQuery foi projetado para oferecer flexibilidade, permitindo que os usuários paguem pelos recursos de computação que usam, com base na quantidade de dados processados, sem custos iniciais ou compromissos de longo prazo.
No modelo sob demanda, as cobranças são calculadas com base no número de terabytes (TB) de dados processados pelas consultas. Essa abordagem garante que os usuários paguem apenas pelo que usam, tornando-a uma opção econômica para análises ad hoc e projetos com necessidades imprevisíveis de processamento de dados.
O BigQuery oferece um nível gratuito generoso neste modelo, permitindo que os usuários processem o primeiro 1 TB de dados de cada mês sem custos financeiros, o que é um recurso atraente para projetos menores ou para aqueles que estão na fase exploratória de análise de dados.
Além do nível gratuito, o custo por TB processado é direto e transparente, facilitando o orçamento e o planejamento financeiro. O modelo sob demanda não exige que os usuários gerenciem ou reservem slots (CPUs virtuais). A infraestrutura é dimensionada automaticamente para atender às demandas da carga de trabalho, sem necessidade de intervenção manual.
No entanto, é importante que os utilizadores monitorizem as suas consultas e utilização, uma vez que o custo pode variar com base na complexidade e no tamanho dos conjuntos de dados que estão a ser consultados. A ferramenta validadora de consultas do BigQuery pode estimar custos antes de executar consultas, ajudando a evitar cobranças inesperadas.
Ao usar o BigQuery, pode ser útil considerar as seguintes maneiras de otimizar custos.
Antes de executar consultas no BigQuery, use o recurso validador de consulta para estimar o custo. Isso pode evitar cobranças inesperadas, fornecendo uma previsão antecipada de custos com base nos dados processados. Ajuda no planejamento e orçamento, especialmente para consultas complexas que podem envolver grandes conjuntos de dados.
Para minimizar custos desnecessários de computação, evite usar consultas SQL para explorar ou visualizar dados da tabela. Em vez disso, utilize as visualizações de tabelas e os detalhes de metadados do BigQuery, que fornecem insights rápidos sem incorrer em cobranças de computação. Essa abordagem é benéfica para a exploração inicial de dados e compreensão de estruturas de tabelas.
Para análises mais profundas que exigem consultas, considere estruturar consultas para minimizar a quantidade de dados processados, otimizando assim os custos. Isso envolve o uso seletivo de colunas, filtragem adequada e limitação dos resultados da consulta.
O BigQuery permite definir um limite para o número máximo de bytes cobrados em consultas. Isto pode limitar os custos, evitando a execução de consultas inesperadamente grandes. Esta salvaguarda garante que, se uma consulta exceder o limite de processamento de dados especificado, ela não será executada, protegendo contra cobranças elevadas não intencionais.
A materialização dos resultados intermediários de consultas complexas em tabelas temporárias ou permanentes pode otimizar as consultas subsequentes e reduzir os custos gerais de processamento. Ao dividir as consultas em partes menores e gerenciáveis e armazenar os resultados, as consultas subsequentes podem ser mais eficientes, processando menos dados.
A Calculadora de preços do Google Cloud é uma ferramenta útil para estimar custos do BigQuery, fornecendo previsões detalhadas para recursos de armazenamento e computação com base em várias entradas. Insira o volume de dados, a frequência de consulta e outros parâmetros para receber uma estimativa precisa de seus custos potenciais.
Agora que você conhece os diferentes modelos de preços do BigQuery e como otimizar seu uso, provavelmente está se perguntando quanto isso realmente custa. Fornecerei informações detalhadas sobre os custos do BigQuery para computação e armazenamento, bem como recursos adicionais, na segunda parte desta série.
Para obter mais informações, leia nosso guia para Preços de computação do GCP.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
