O armazenamento de objetos é fundamental para controlar os custos da nuvem

O aumento dos custos da nuvem tem sido um tema recorrente nos últimos anos. Vimos o uso da nuvem corporativa disparar em 2020; do final de 2022 ao início de 2023, os provedores de nuvem relataram receitas decrescentes e estáveis, à medida que os CXOs ficaram chocados com as contas de nuvem inchadas. No entanto, a maré mudou novamente, embora a repatriação de nuvens ainda seja uma tendência. Quase um terço das empresas gasta mais de US$ 12 milhões por ano em nuvem pública, um aumento de 24% em relação a 2023, de acordo com o Flexera State of the Cloud 2024.

Os líderes de TI devem continuar a investir na infraestrutura de nuvem pública porque ela oferece escalabilidade e flexibilidade, apresenta oportunidades de poupança de custos e, talvez o mais importante, os principais fornecedores de nuvem alojam agora um conjunto pronto de serviços para o lançamento de projetos de IA.

O desafio dos dados da nuvem

Levar dados para a nuvem, entretanto, pode ser uma barreira. Os líderes de TI devem gastar mais tempo do que nunca pesquisando serviços em nuvem, migração e ferramentas e metodologias de hierarquização, ao mesmo tempo que entendem seus ambientes de dados exclusivos. A nuvem oferece vários serviços e níveis de armazenamento com preços muito diferentes. Para dados não estruturados, o armazenamento de arquivos em nuvem, como Azure Files ou AWS FSX, e o armazenamento de objetos em nuvem, como Amazon S3 ou Glacier, são opções populares. Você pode reduzir os custos da nuvem em pelo menos 70%, mas isso requer uma combinação de migração e classificação de dados em camadas para a classe de armazenamento apropriada no momento apropriado. Em um artigo anterior, discuti as diferenças entre migrar e arquivar arquivos (também conhecidos como hierarquização) para a nuvem e quando usar cada abordagem.

Resumidamente, a migração de dados na nuvem é o processo de mover arquivos dos data centers para o armazenamento de arquivos na nuvem. Os usuários deverão então acessar os dados migrados diretamente da nuvem. A migração de dados na nuvem faz sentido quando você planeja usar a nuvem como armazenamento de arquivos para executar aplicativos da nuvem ou quando deseja usar a nuvem para arquivos de longo prazo ou data lakes para IA. Este é um “arquivo desanexado” que requer alterações nos usuários e aplicativos.

A hierarquização da nuvem é o processo de extensão transparente de sistemas de arquivos locais com armazenamento de objetos na nuvem. Idealmente, a solução de camadas deve permitir que os usuários acessem arquivos em camadas do sistema de arquivos local, para que não haja alterações nos usuários ou nos aplicativos. Isso faz sentido quando você precisa de um “arquivo ativo ou anexado” ou de uma extensão para sua infraestrutura existente.

Seja em camadas ou na migração para a nuvem, o armazenamento de objetos é um fator essencial a ser considerado. Neste artigo, focarei no armazenamento de objetos econômico como um alvo de migração e classificação por níveis para dados corporativos.

Os benefícios do Cloud Object Storage para dados não estruturados

Ao contrário do armazenamento de arquivos em nuvem, que oferece alto desempenho para dados ativos com escalabilidade e benefícios de preço de pagamento conforme o uso, o armazenamento de objetos em nuvem é uma maneira excelente de economizar drasticamente em dados raramente usados ​​ou “frios”. O armazenamento de objetos foi projetado para ser altamente escalável e menos dispendioso para armazenar grandes quantidades de dados. Ao contrário do armazenamento de arquivos, o armazenamento de objetos é melhor para dados que são lidos muitas vezes e raramente gravados ou modificados, tornando-o ideal para uso como arquivo. Outro benefício da migração de dados para o armazenamento de objetos é o uso de novos serviços, como IA em nuvem e ferramentas de ML, que são projetadas principalmente para funcionar com objetos. A questão aqui é que seus dados estão disponíveis nativamente para esses serviços. Por fim, se você mover dados para um armazenamento imutável, como o AWS S3 Object Lock, ninguém poderá modificá-los ou excluí-los, criando assim uma tática acessível de defesa contra ransomware.

Economia de custos com armazenamento de objetos

Em média, o armazenamento de objetos na nuvem é de 2 a 10 vezes menor que o armazenamento de arquivos na nuvem. Além disso, se você estiver lendo e gravando ativamente os arquivos (operações get/put), o custo dessas operações aumenta para um servidor de arquivos.

Legenda: Custos de armazenamento da AWS da primavera de 2024, sem incluir custos de leitura/gravação.

Aproveitar o armazenamento de objetos na nuvem é um elemento essencial de sua estratégia de migração e classificação em camadas, especialmente para dados de arquivos, pois pode economizar, em média, 70% dos custos anuais de armazenamento e backup.

Táticas de hierarquização de arquivo para objeto

Os armazenamentos de objetos são ideais para arquivos porque os dados frios normalmente não são gravados ou modificados. Além disso, os armazenamentos de objetos são baratos, mas, diferentemente da fita, os dados podem ser recuperados em milissegundos. A maioria das soluções de hierarquização de dados é orientada por políticas e executada continuamente, o que as torna ideais para mover dados frios de sistemas de arquivos rápidos e caros para sistemas de armazenamento de objetos muito menos dispendiosos. Como eles podem ser executados sem intervenção, isso garante que seu projeto de camadas proporcionará economia contínua no armazenamento de dados. No entanto, muitas soluções de camadas dividem o arquivo em blocos proprietários no armazenamento de objetos, tornando os dados inúteis na nuvem.

Os principais aspectos a serem considerados ao hierarquizar arquivos para armazenamento de objetos em nuvem são:

1. A solução oferece transparência para que os usuários possam ver, pesquisar e acessar o arquivo da fonte original como se ele nunca tivesse sido hierarquizado?
2. Os arquivos podem ser acessados ​​nativamente no armazenamento de objetos? Em essência, o arquivo completo é preservado na nuvem como um objeto nativo para que você possa aproveitar os serviços e aplicativos da nuvem que usam uma interface de objeto para acessar o conteúdo?
3. Você pode executar a automação orientada por políticas para reduzir despesas gerais e garantir a otimização contínua de custos?
4. Os metadados do arquivo são preservados para que haja dualidade arquivo-objeto e os dados possam ser recuperados como arquivos ou objetos? Este é um elemento essencial a ser considerado se o seu caso de uso exigir acesso baseado em arquivo.
5. Você pode reidratar os arquivos de volta ao sistema de arquivos de origem com total fidelidade em relação ao conteúdo, metadados, permissões e listas de controle de acesso (ACL)? Isso garante que os dados sejam protegidos adequadamente depois de retornarem ao servidor de arquivos.

Táticas de migração de nuvem de arquivo para objeto e objeto para objeto

Ao migrar arquivos para armazenamentos de objetos em nuvem, se for importante recuperar os dados como arquivos, certifique-se de que a solução preserve os metadados do arquivo. Além disso, certifique-se de que o acesso ao objeto nativo esteja disponível.

A migração de objetos locais é mais simples do que a migração de arquivos para objetos na nuvem porque esta é uma migração “igual a igual”. Se estiver migrando objetos para aplicativos em nuvem, você precisará migrar todos os dados necessários armazenados no local.

Como as migrações para a nuvem ocorrem através de uma WAN, procure soluções projetadas especificamente para transferir dados em altas velocidades. Isto pode reduzir grandes prazos de migração de vários meses para apenas algumas semanas; ciclos de migração longos e complicados são uma barreira notável às jornadas para a nuvem para muitas empresas.

Se estiver migrando objetos para fins de arquivamento, você precisará analisar os dados para identificar buckets com objetos “frios” e determinar o que migrar.

O armazenamento de objetos é altamente escalável e mais barato que o armazenamento de arquivos. Hoje em dia, estão disponíveis muitas soluções que traduzem arquivos em objetos com alta fidelidade, permitindo aproveitar o custo mais baixo do armazenamento em nuvem para arquivos e, ao mesmo tempo, fornecer a capacidade de reidratar os dados de volta para um sistema de arquivos com total fidelidade.