Como configurar e acelerar a replicação do Amazon S3 para replicação de dados entre regiões

Views: 2819
0 0
Read Time:7 Minute, 50 Second

O Amazon S3 é uma solução simples de armazenamento em nuvem que permite armazenamento e recuperação sem esforço de grandes quantidades de dados de diferentes regiões geográficas. Ele foi projetado para oferecer escalabilidade, durabilidade e segurança, o que o torna uma opção popular para armazenamento e distribuição de dados.

Além disso, a Amazon Web Services (AWS) oferece inúmeras ferramentas para ajudar na replicação de arquivos e objetos. Uma solução de replicação popular para AWS é o Amazon S3 Replication, um recurso robusto que replica objetos e seus metadados em vários buckets S3.

Quando usado para replicação entre regiões ( CRR ), o recurso permite a replicação contínua de objetos em buckets S3 em diferentes regiões. Muitas organizações usam a replicação entre regiões por vários motivos:

  • Atendendo aos requisitos de conformidade geográfica : a replicação entre regiões permite que você cumpra os mandatos de conformidade que exigem o armazenamento de dados específicos em regiões geograficamente dispersas.
  • Minimizando a latência e melhorando a experiência do usuário : ao mover os dados fisicamente para mais perto dos usuários finais por meio da replicação, a latência pode ser minimizada, resultando em uma experiência aprimorada para os usuários que acessam os dados.
  • Recuperação de desastres e redundância de dados : a replicação entre regiões é um componente integral das estratégias de recuperação de desastres, garantindo a integridade dos dados e mitigando a perda de dados por meio de backups e estratégias de failover ativo/passivo ou ativo/ativo.

No entanto, existem algumas complexidades na replicação de objetos S3 entre regiões. Alguns usuários acham isso lento e imprevisível; outros consideram que o custo é um desafio porque as taxas de transferência entre regiões podem ser difíceis de calcular.

Além disso, uma consideração ao configurar o CRR é a melhor forma de atingir os objetivos de ponto de recuperação (RPOs) e os objetivos de tempo de recuperação (RTOs) para alta disponibilidade e recuperação de desastres (DR) — e requisitos gerais de desempenho e acessibilidade de dados. Você pode ou não conseguir alcançá-los usando ferramentas CRR convencionais da AWS.

Neste artigo, compartilharei cinco etapas simples sobre como configurar o S3 CRR e também compartilharei uma opção para tornar a replicação do S3 CRR mais rápida.

Configurar a replicação entre regiões do Amazon S3

Etapa 1 : Criação de buckets S3 em diferentes regiões

A criação de novos buckets S3 é um processo simples e pode ser facilmente realizado seguindo estas etapas:

1. Faça login no Console de gerenciamento da AWS.
2. Selecione o serviço S3.
3. Escolha “Baldes” no menu à esquerda e selecione “Criar balde”.
4. Configure o novo bucket:

  • Escolher um nome descritivo de bucket que inclua a região e “origem” ou “destino” para maior clareza.
  • Selecione a região dos buckets.
  • Habilitar o controle de versão no menu para os buckets de origem e de destino.
Replicação do Amazon S3
Replicação do Amazon S3

Repita o processo para criar outro bucket para uma região diferente.

Etapa 2 : configurar regras de replicação

1. Selecione o bucket de origem e navegue até:

  • “Gerenciamento” → “Regras de replicação” → “Criar regra de replicação”.

2. Forneça um nome descritivo para a regra e escolha “Ativado” para implementar a regra imediatamente.

3. Um número de prioridade também pode ser atribuído a uma(s) regra(s) — quanto menor o número, maior a prioridade da regra.

  • Por exemplo, os objetos S3 sob uma regra de prioridade 1 serão replicados antes de uma regra de prioridade 2.

4. Depois que uma regra estiver habilitada, selecione o bucket de destino.

  • Observe que se o bucket de destino pertencer a uma conta cruzada da AWS diferente, algumas etapas extras serão necessárias.

5. Defina os buckets ou objetos a serem replicados, usando filtros opcionais para ajustar as seleções com base em prefixos. Instruções passo a passo sobre como fazer isso podem ser encontradas no tutorial de configuração de replicação da AWS.

6. Escolha a classe de armazenamento para os objetos replicados no bucket de destino. A Amazon oferece 8 classes diferentes para você escolher.

Replicação do Amazon S3

Etapa 3 : Gerenciar permissões de gerenciamento de identidade e acesso

O AWS Identity and Access Management (IAM) permite acesso baseado em função/permissão a serviços e recursos. Para que o processo de replicação seja bem-sucedido, a função do IAM associada à configuração de replicação deve ter permissões suficientes para gravar novos objetos no novo bucket de destino.

Se você já usou o S3 Replication antes, já existe uma função do IAM para o seu perfil, que você pode selecionar na opção “Escolher entre as funções do IAM existentes”. Caso contrário, será necessário criar uma nova função do IAM que conceda autoridade de leitura e replicação para o Amazon S3.

No exemplo abaixo da documentação da AWS, DOC-EXAMPLE-BUCKET1 é o bucket de origem e DOC-EXAMPLE-BUCKET2 é o destino. A política concede acesso ao Amazon S3 para recuperar a configuração de replicação e listar o conteúdo do bucket. Ele também permite que o S3 obtenha uma versão específica do objeto e as listas de controle de acesso (ACLs) associadas a ele, bem como replique e exclua marcadores para o bucket de destino.

Replicação do Amazon S3

Etapa 4 : Explorando recursos adicionais

A replicação do Amazon S3 também oferece alguns recursos opcionais que são úteis e devem ser considerados pelos usuários. Eles incluem:

  • Criptografia : o Amazon S3 oferece criptografia no lado do servidor (SSE-S3) para cada bucket. Desde 5 de janeiro de 2023, todos os novos uploads de objetos são criptografados automaticamente, sem nenhum custo e sem impacto no desempenho. No entanto, o AWS Key Management Service (KMS) também está disponível para criptografia no lado do servidor. Se você usar criptografia KMS, as chaves KMS serão necessárias para descriptografar no bucket de origem e criptografar novamente no destino
  • Controle de tempo de replicação S3 (S3 RTC) : Este recurso garante que 99,99% dos objetos serão replicados em 15 minutos. É útil para atender aos requisitos comerciais e de conformidade, portanto você pode ativá-lo se confiar
  • Métricas e notificações de replicação : esta opção fornece métricas detalhadas para rastrear o progresso da replicação minuto a minuto, incluindo bytes e operações pendentes, latência de replicação e muito mais. Observe que você monitorará o progresso por meio do Amazon CloudWatch, que vem com taxas separadas.

Etapa 5 : revisar e testar

Depois de considerar os recursos adicionais, revise todas as configurações de replicação (etapas 1 a 3). Para testar se tudo está funcionando corretamente, carregue um novo objeto no bucket de origem para ver se o objeto foi replicado no destino.

Se não houver problemas, carregue o restante dos seus objetos e monitore a replicação.

Replicação do Amazon S3

Se as métricas e notificações de replicação tiverem sido habilitadas na etapa anterior, você também poderá usar o Amazon CloudWatch para obter informações mais detalhadas sobre cada regra de replicação, bem como os buckets de origem e destino.

Acelerando o processo de replicação

O CRR do Amazon S3 é um recurso poderoso incluído no serviço. No entanto, também pode ser um desafio devido à sua complexidade. Além dos problemas enfrentados por alguns usuários, outros desafios incluem o cumprimento de RPOs para DR quente e quente e a interoperabilidade com outros provedores de soluções de armazenamento de objetos.

Felizmente, existe uma solução que pode ajudar.

Enfrentar o desafio da replicação entre regiões usando uma nova abordagem, como uma solução de replicação que usa arquitetura peer-to-peer (P2P) com otimização de WAN nativa, oferece um design organicamente escalonável. Além de serem entre 3 a 10 vezes mais rápidas que as soluções de replicação tradicionais, este tipo de soluções oferecem benefícios como:

  • Maior flexibilidade – Pode ser usado com qualquer provedor de nuvem (AWS, Google Cloud, Microsoft Azure, etc.) e em qualquer ambiente (on-premise ou nuvem híbrida). Em alguns casos, ele pode ser usado com diversas ofertas de armazenamento de objetos.
  • Facilidade de configuração e uso – Pode ser implantado na infraestrutura existente sem a necessidade de adquirir novo hardware ou migrar dados, e a replicação pode começar em apenas duas horas.
  • Seguro por padrão – criptografa dados em repouso e em trânsito usando AES 256.
Replicação do Amazon S3

Usar uma arquitetura P2P com otimização de WAN integrada ajuda a evitar dois problemas comuns encontrados em soluções de replicação convencionais:

  • Arquiteturas cliente-servidor onde apenas um dispositivo ou instância (o hub) pode replicar dados em todo o ambiente.
  • Modelos “follow-the-sun” onde a replicação só pode ocorrer sequencialmente entre, no máximo, 2 dispositivos (por exemplo, o Dispositivo 1 deve replicar objetos para o Dispositivo 2, que então os replica para o Dispositivo 3, etc.).

Nos exemplos acima, a replicação é sempre limitada pelo dispositivo mais lento. Cada instância de replicação também cria um único ponto de falha: se o dispositivo que replica os dados falhar, toda a transferência falhará.

Além disso, a maioria das soluções CRR depende do TCP para transferências pela WAN. A distância entre regiões e usuários finais cria latência e potencialmente perda de pacotes. Isso diminui ainda mais as velocidades de replicação, uma vez que o TCP luta com latência e perdas. As soluções de replicação convencionais que dependem de TCP, incluindo o S3 Replication, podem ter dificuldades a ponto de as transferências ficarem lentas ou falharem completamente. Portanto, o implementador deve ter cuidado quando se trata de CRR convencional.

FONTE: HELP NET SECURITY

POSTS RELACIONADOS