Análise anual: 2023 foi um ponto de viragem para microsserviços
24 de janeiro de 2024
Por que proteger os recipientes é como ir ao dentista
24 de janeiro de 2024
“De certa forma, estamos tentando hackear a espinha dorsal da nuvem para nosso benefício”, observou Vikram Siwach, gerente da TikTok para infraestrutura de gerenciamento de produtos, explicando o benefício do “Global Services Accelerator”, um programa programável que em breve será de código aberto da empresa. plataforma de ponta que combina as necessidades do aplicativo com o serviço de nuvem ideal.
Siwach revelou os detalhes do primeiro grande pacote de código aberto do TikTok na KubeCon+CloudNativeCon 2023, realizada no início deste mês em Chicago.
Vikram Siwach do TikTok.
O TikTok administra seus próprios data centers – mais baratos dessa forma, dadas as pesadas demandas computacionais de geração de recomendações instantâneas para milhões de usuários. A nuvem é muito cara para essa carga de trabalho.
Mas a TikTok descobriu que os backbones de rede dos provedores de nuvem são a maneira mais rápida de atingir seu público global. Portanto, a equipe de gerenciamento de infraestrutura desenvolveu o GSA para “gerenciar a experiência do usuário”, disse Siwach.
O GSA foi inicialmente projetado para otimizar o desempenho da rede, embora o TikTok também tenha encontrado benefícios adicionais na redução de custos de nuvem. “Ele permite que você escolha o melhor parceiro para você, com base no custo do endpoint ou no custo de roteamento”, disse ele.
Siwach tem grandes ambições para o acelerador, mesmo que os provedores de nuvem tenham seus próprios serviços de aceleradores semelhantes: “Assim que abrirmos o código-fonte deste código, você não precisará usá-los”, disse ele.
Por que o TikTok é tão rápido
Diga o que quiser sobre o TikTok, mas mesmo o engenheiro de sistema mais cínico deve admitir que o serviço mobile-first é extremamente rápido, não apenas na entrega de curtas de vídeo quase instantaneamente, mas até mesmo no fornecimento de feeds personalizados em tempo real.
A empresa descobriu desde o início que depender apenas da Internet pública pode ser arriscado: ela não é tão rápida nem tão confiável.
A TikTok administra três data centers em todo o mundo, um para as Américas, um para a Europa e África e o terceiro para a Ásia e Austrália. Um serviço Geo DNS conecta um usuário que faz login ao data center mais próximo, naquela região.
Experimentalmente, o TikTok descobriu que usar o backbone de um provedor de nuvem para conectar usuários no Brasil ao data center dos EUA resultou em uma latência menor, em comparação ao uso direto da internet. Os usuários receberam recomendações muito mais rapidamente.
“Os resultados foram muito promissores”, disse Siwach.
Como o TikTok reduz os custos da nuvem
Funcionou tão bem que, na verdade, esta abordagem foi aplicada a outras regiões globais, em vários fornecedores de nuvem concorrentes. “Este é o primeiro caso de uso em que investimos em vários provedores de nuvem”, disse Siwach (mencionando nenhum pelo nome).
Inicialmente, os aceleradores eram utilizados apenas para as recomendações, mas outros serviços serão suportados ao longo do tempo.
Ter um proxy próximo ao usuário, onde quer que ele esteja, traz algumas vantagens para o TikTok. Se o serviço for atingido por uma onda de pacotes de negação de serviço, ele poderá descartá-los mais rapidamente e economizar custos de tráfego de rede.
Para o TikTok, os aceleradores também servem para fornecer “neutralidade” entre os provedores de nuvem, permitindo-lhes escolher aqueles com melhor preço e desempenho.
Os aceleradores são baseados no nginx, embora modificados para atender às demandas mais pesadas de desempenho.
O serviço recebe três tipos diferentes de tráfego dos usuários: HTTPS, QUIC do Google e Websockets, que chega por meio dos provedores de nuvem Anycast IP e é transportado para balanceadores de carga da camada 4.
Os GSAs são executados nos serviços Kubernetes do provedor de nuvem (geralmente um único cluster executando de 4 a 500 nós). Os provedores de nuvem fazem um bom trabalho no gerenciamento do Kubernetes, disse Siwach, e as cargas de trabalho podem ser facilmente transferidas entre os provedores de nuvem, graças aos K8s.
Os provedores de nuvem também lidam com o escalonamento automático dos recursos de rede, o que é importante devido aos padrões de uso dos serviços de mídia social.
O GSA lida com aspectos como tráfego, criptografia de caminho completo e gerenciamento de certificados, privacidade do usuário, firewalls de aplicativos e outras medidas de segurança.
Funções programáveis no Edge
O GSA pode fornecer detalhes valiosos sobre o desempenho da rede do provedor de nuvem e também fornecer gerenciamento unificado, liberando o usuário da dependência dos provedores de nuvem.
Ele também fornece funções programáveis, que podem ajudar no roteamento de desempenho, gerenciamento de segurança e otimização de custos.
Siwach previu que a borda “evoluirá para uma função como serviço, onde você pode escrever scripts e programas simples com lógica”.
Aqui as funções programáveis podem ser usadas de diversas maneiras, dependendo dos requisitos do usuário. Em detalhes detalhados, você aprende quanto custa o endpoint do provedor de nuvem ou quanto custa o balanceamento de carga. Você obtém métricas tanto do lado do usuário quanto do lado do servidor. Então você pode programar com base nos resultados.
“Em certas aplicações, a latência é mais importante. Então nós programamos para isso. “Certos aplicativos não se importam com a latência – upload de imagens – então programamos para isso”, disse ele.
Um design de GSA fornece uma maneira de abordar regulamentos e leis de conformidade, além de outros requisitos gerados interna e externamente.
Na verdade, funções programáveis (como a capacidade de anexar mais informações ao cabeçalho de um pacote) podem desempenhar um papel fundamental para o TikTok nesse sentido. O serviço conta com uma equipe dedicada para gerenciar a segurança e os dados do usuário. Eles programam a política da empresa e se beneficiariam de uma interface central como a do GSA.
“Este software específico pode ser implantado na periferia do provedor de nuvem, programar a política e entregar as rédeas a alguém em quem você confia”, explicou Siwach.
Na briga do código aberto
Para o TikTok, este lançamento também será sua primeira grande incursão no código aberto. Como o acelerador usa componentes de código aberto (embora Siwach tenha mencionado apenas o Nginx), o TikTok quer contribuir de volta para a comunidade.
“Então, por favor, seja gentil conosco. Não conhecemos os caminhos por aqui”, disse Siwach ao público.
A postagem TikTok para acelerador de borda ‘neutralizador de nuvem’ de código aberto apareceu pela primeira vez em The New Stack.
