0
0
O Amazon S3 é uma solução simples de armazenamento em nuvem que permite armazenamento e recuperação sem esforço de grandes quantidades de dados de diferentes regiões geográficas. Ele foi projetado para oferecer escalabilidade, durabilidade e segurança, o que o torna uma opção popular para armazenamento e distribuição de dados.
Além disso, a Amazon Web Services (AWS) oferece inúmeras ferramentas para ajudar na replicação de arquivos e objetos. Uma solução de replicação popular para AWS é o Amazon S3 Replication, um recurso robusto que replica objetos e seus metadados em vários buckets S3.
Quando usado para replicação entre regiões ( CRR ), o recurso permite a replicação contínua de objetos em buckets S3 em diferentes regiões. Muitas organizações usam a replicação entre regiões por vários motivos:
- Atendendo aos requisitos de conformidade geográfica : a replicação entre regiões permite que você cumpra os mandatos de conformidade que exigem o armazenamento de dados específicos em regiões geograficamente dispersas.
- Minimizando a latência e melhorando a experiência do usuário : ao mover os dados fisicamente para mais perto dos usuários finais por meio da replicação, a latência pode ser minimizada, resultando em uma experiência aprimorada para os usuários que acessam os dados.
- Recuperação de desastres e redundância de dados : a replicação entre regiões é um componente integral das estratégias de recuperação de desastres, garantindo a integridade dos dados e mitigando a perda de dados por meio de backups e estratégias de failover ativo/passivo ou ativo/ativo.
No entanto, existem algumas complexidades na replicação de objetos S3 entre regiões. Alguns usuários acham isso lento e imprevisível; outros consideram que o custo é um desafio porque as taxas de transferência entre regiões podem ser difíceis de calcular.
Além disso, uma consideração ao configurar o CRR é a melhor forma de atingir os objetivos de ponto de recuperação (RPOs) e os objetivos de tempo de recuperação (RTOs) para alta disponibilidade e recuperação de desastres (DR) — e requisitos gerais de desempenho e acessibilidade de dados. Você pode ou não conseguir alcançá-los usando ferramentas CRR convencionais da AWS.
Neste artigo, compartilharei cinco etapas simples sobre como configurar o S3 CRR e também compartilharei uma opção para tornar a replicação do S3 CRR mais rápida.
Configurar a replicação entre regiões do Amazon S3
Etapa 1 : Criação de buckets S3 em diferentes regiões
A criação de novos buckets S3 é um processo simples e pode ser facilmente realizado seguindo estas etapas:
1. Faça login no Console de gerenciamento da AWS.
2. Selecione o serviço S3.
3. Escolha “Baldes” no menu à esquerda e selecione “Criar balde”.
4. Configure o novo bucket:
- Escolher um nome descritivo de bucket que inclua a região e “origem” ou “destino” para maior clareza.
- Selecione a região dos buckets.
- Habilitar o controle de versão no menu para os buckets de origem e de destino.
Repita o processo para criar outro bucket para uma região diferente.
Etapa 2 : configurar regras de replicação
1. Selecione o bucket de origem e navegue até:
- “Gerenciamento” → “Regras de replicação” → “Criar regra de replicação”.
2. Forneça um nome descritivo para a regra e escolha “Ativado” para implementar a regra imediatamente.
3. Um número de prioridade também pode ser atribuído a uma(s) regra(s) — quanto menor o número, maior a prioridade da regra.
- Por exemplo, os objetos S3 sob uma regra de prioridade 1 serão replicados antes de uma regra de prioridade 2.
4. Depois que uma regra estiver habilitada, selecione o bucket de destino.
- Observe que se o bucket de destino pertencer a uma conta cruzada da AWS diferente, algumas etapas extras serão necessárias.
5. Defina os buckets ou objetos a serem replicados, usando filtros opcionais para ajustar as seleções com base em prefixos. Instruções passo a passo sobre como fazer isso podem ser encontradas no tutorial de configuração de replicação da AWS.
6. Escolha a classe de armazenamento para os objetos replicados no bucket de destino. A Amazon oferece 8 classes diferentes para você escolher.
Etapa 3 : Gerenciar permissões de gerenciamento de identidade e acesso
O AWS Identity and Access Management (IAM) permite acesso baseado em função/permissão a serviços e recursos. Para que o processo de replicação seja bem-sucedido, a função do IAM associada à configuração de replicação deve ter permissões suficientes para gravar novos objetos no novo bucket de destino.
Se você já usou o S3 Replication antes, já existe uma função do IAM para o seu perfil, que você pode selecionar na opção “Escolher entre as funções do IAM existentes”. Caso contrário, será necessário criar uma nova função do IAM que conceda autoridade de leitura e replicação para o Amazon S3.
No exemplo abaixo da documentação da AWS, DOC-EXAMPLE-BUCKET1 é o bucket de origem e DOC-EXAMPLE-BUCKET2 é o destino. A política concede acesso ao Amazon S3 para recuperar a configuração de replicação e listar o conteúdo do bucket. Ele também permite que o S3 obtenha uma versão específica do objeto e as listas de controle de acesso (ACLs) associadas a ele, bem como replique e exclua marcadores para o bucket de destino.
Etapa 4 : Explorando recursos adicionais
A replicação do Amazon S3 também oferece alguns recursos opcionais que são úteis e devem ser considerados pelos usuários. Eles incluem:
- Criptografia : o Amazon S3 oferece criptografia no lado do servidor (SSE-S3) para cada bucket. Desde 5 de janeiro de 2023, todos os novos uploads de objetos são criptografados automaticamente, sem nenhum custo e sem impacto no desempenho. No entanto, o AWS Key Management Service (KMS) também está disponível para criptografia no lado do servidor. Se você usar criptografia KMS, as chaves KMS serão necessárias para descriptografar no bucket de origem e criptografar novamente no destino
- Controle de tempo de replicação S3 (S3 RTC) : Este recurso garante que 99,99% dos objetos serão replicados em 15 minutos. É útil para atender aos requisitos comerciais e de conformidade, portanto você pode ativá-lo se confiar
- Métricas e notificações de replicação : esta opção fornece métricas detalhadas para rastrear o progresso da replicação minuto a minuto, incluindo bytes e operações pendentes, latência de replicação e muito mais. Observe que você monitorará o progresso por meio do Amazon CloudWatch, que vem com taxas separadas.
Etapa 5 : revisar e testar
Depois de considerar os recursos adicionais, revise todas as configurações de replicação (etapas 1 a 3). Para testar se tudo está funcionando corretamente, carregue um novo objeto no bucket de origem para ver se o objeto foi replicado no destino.
Se não houver problemas, carregue o restante dos seus objetos e monitore a replicação.
Se as métricas e notificações de replicação tiverem sido habilitadas na etapa anterior, você também poderá usar o Amazon CloudWatch para obter informações mais detalhadas sobre cada regra de replicação, bem como os buckets de origem e destino.
Acelerando o processo de replicação
O CRR do Amazon S3 é um recurso poderoso incluído no serviço. No entanto, também pode ser um desafio devido à sua complexidade. Além dos problemas enfrentados por alguns usuários, outros desafios incluem o cumprimento de RPOs para DR quente e quente e a interoperabilidade com outros provedores de soluções de armazenamento de objetos.
Felizmente, existe uma solução que pode ajudar.
Enfrentar o desafio da replicação entre regiões usando uma nova abordagem, como uma solução de replicação que usa arquitetura peer-to-peer (P2P) com otimização de WAN nativa, oferece um design organicamente escalonável. Além de serem entre 3 a 10 vezes mais rápidas que as soluções de replicação tradicionais, este tipo de soluções oferecem benefícios como:
- Maior flexibilidade – Pode ser usado com qualquer provedor de nuvem (AWS, Google Cloud, Microsoft Azure, etc.) e em qualquer ambiente (on-premise ou nuvem híbrida). Em alguns casos, ele pode ser usado com diversas ofertas de armazenamento de objetos.
- Facilidade de configuração e uso – Pode ser implantado na infraestrutura existente sem a necessidade de adquirir novo hardware ou migrar dados, e a replicação pode começar em apenas duas horas.
- Seguro por padrão – criptografa dados em repouso e em trânsito usando AES 256.
Usar uma arquitetura P2P com otimização de WAN integrada ajuda a evitar dois problemas comuns encontrados em soluções de replicação convencionais:
- Arquiteturas cliente-servidor onde apenas um dispositivo ou instância (o hub) pode replicar dados em todo o ambiente.
- Modelos “follow-the-sun” onde a replicação só pode ocorrer sequencialmente entre, no máximo, 2 dispositivos (por exemplo, o Dispositivo 1 deve replicar objetos para o Dispositivo 2, que então os replica para o Dispositivo 3, etc.).
Nos exemplos acima, a replicação é sempre limitada pelo dispositivo mais lento. Cada instância de replicação também cria um único ponto de falha: se o dispositivo que replica os dados falhar, toda a transferência falhará.
Além disso, a maioria das soluções CRR depende do TCP para transferências pela WAN. A distância entre regiões e usuários finais cria latência e potencialmente perda de pacotes. Isso diminui ainda mais as velocidades de replicação, uma vez que o TCP luta com latência e perdas. As soluções de replicação convencionais que dependem de TCP, incluindo o S3 Replication, podem ter dificuldades a ponto de as transferências ficarem lentas ou falharem completamente. Portanto, o implementador deve ter cuidado quando se trata de CRR convencional.
FONTE: HELP NET SECURITY