Como configurar as regras de replicação no AWS S3

Como configurar as regras de replicação no AWS S3
A replicação S3 é a instalação fornecida pela Amazon para replicar os dados de um balde S3 para outro S3 Bucket dentro ou em toda a região. Se a replicação estiver ativada em um balde S3, os dados enviados para o balde S3 serão movidos automaticamente para o balde de destino S3. AWS fornece recursos diferentes para a replicação da AWS S3. A seguir, alguns recursos fornecidos pela AWS para replicação S3.
  • Replicação da região cruzada
  • Replicação de contas cruzadas
  • Controle de tempo de replicação S3
  • Replicação de vários destinos
  • Replicação bidirecional
  • Métricas e notificações de replicação

Replicação da região cruzada

Na replicação da região cruzada, os baldes de origem e destino S3 estão em diferentes regiões da AWS e a replicação ocorre em toda a região.

Replicação de contas cruzadas

Na replicação da conta cruzada, os baldes de origem e destino S3 estão em diferentes contas da AWS. Os dados são replicados do S3 Bucket em uma conta AWS para outro S3 Bucket em outra conta da AWS.

Controle de tempo de replicação S3

S3 Replicação O controle de tempo é o mais recente recurso fornecido pelo AWS S3 para replicar 99.99% de todos os seus dados do balde de origem S3 para o balde de destino S3 nos primeiros 15 minutos. Ele replica bilhões de objetos S3 do balde de origem para o balde de destino nos primeiros 15 minutos.

Replicação de vários destinos

Para replicar dados de um balde de origem S3 para vários baldes de destino S3, agora a AWS S3 fornece capacidade de replicação de destinos múltiplos. Essa capacidade pode ser usada para replicar dados dentro ou através das regiões em vários baldes.

Replicação bidirecional

Na replicação bidirecional, o AWS S3 fornece replicação de dados do balde de origem ao destino e vice-versa. A replicação ocorre nas duas direções e isso pode ser usado para construir um conjunto de dados comum nas regiões.

Métricas e notificações de replicação

A replicação S3 fornece métricas e notificações sobre a replicação de dados. Você pode verificar o progresso da replicação minuto a minuto no console.

Neste blog, discutiremos como podemos ativar a replicação nos baldes da AWS S3 para replicar o objeto em diferentes baldes S3.

Criando regras de replicação S3 no AWS S3

Primeiro de tudo, precisamos criar dois baldes no console do AWS S3, um como fonte e outro como o destino. Para ativar a replicação S3, é necessário ativar a versão em ambos os baldes S3. Visite o seguinte link para saber como o versão do balde S3 pode ser configurado.

https: // linuxhint.com/configure-aws-s3-bucket-versioning/

Para esta demonstração, criamos dois baldes S3 em diferentes regiões da AWS, como mostrado na imagem a seguir. Ambos os baldes têm versão ativada neles.

O balde de origem S3 está no US-East-1 (n. Virginia) Região e o balde de destino S3 está na região sudeste-2 (Sydney).

Depois de criar o balde S3, agora abra o balde de origem clicando nele e vá para o Gerenciamento guia do balde de origem S3.

No Gerenciamento guia, role para baixo até o Regras de replicação seção e clique no Criar regra de replicação botão.

Ele abrirá uma nova página solicitando os detalhes da regra de replicação. Insira o nome da regra de replicação e selecione o Habilitado botão para ativar a regra.

Role para baixo e agora ele solicitará as configurações de balde de origem se todos os objetos no S3 serão replicados ou alguns objetos específicos. Para esta demonstração, aplicaremos a regra de replicação a todos os objetos S3 no balde.

Para a configuração do balde de destino, ele solicitará o balde de destino no qual o balde de origem replicará os objetos. O balde de destino pode estar na mesma conta da AWS ou em uma conta AWS diferente. Para esta demonstração, selecionaremos o balde de destino na mesma conta, mas a região diferente.

Depois de selecionar os baldes de origem e destino S3, agora é hora de anexar uma função de IAM ao S3, que permitirá que o S3 replique os dados do balde de origem S3 ao balde de destino S3. Você pode selecionar uma função existente ou criar uma nova função. Para esta demonstração, criaremos um novo papel.

Após a configuração de função do IAM, ele perguntará se você deseja permitir diferentes recursos de replicação S3 ou não. Podemos ativar o controle de tempo de replicação, métricas de replicação e notificação, excluir replicação de marcadores e sincronização de modificação de réplica.

Agora, deixe todas as opções como padrão e clique no botão Salvar na parte inferior da página para criar a regra de replicação. Você pode ver a regra de replicação recém -criada na guia Gerenciamento.

Depois de criar a regra, agora vá para o balde de origem S3 e envie alguns dados.

Após o upload de dados no balde de origem S3, vá para o balde de destino e verifique se os dados são replicados do balde de origem S3 ou não.

Podemos ver que os dados são replicados com sucesso do balde de origem S3 para o balde de destino S3 em toda a região.

Então agora, verifique se a exclusão do arquivo do balde de origem S3 realmente exclui o arquivo do balde de destino ou não. Exclua o arquivo do balde de origem S3 do console e vá para o balde de destino.

Mas o arquivo no balde de destino ainda está disponível e não é excluído. Para verificar esse comportamento, clique no mostre versões Botão de alternância no balde de origem S3 e ele mostrará o marcador de exclusão no arquivo excluído. Na verdade, quando um arquivo é excluído do S3 Bucket com a versão ativada, o arquivo não é excluído, mas o S3 coloca um marcador de exclusão no arquivo. E no balde de destino, ele não exclui.

Mas se um arquivo for atualizado no balde de origem S3, a alteração será replicada do balde de origem S3 para o balde de destino S3.

Conclusão

O AWS S3 nos fornece várias funcionalidades para gerenciar nossa replicação de dados entre os baldes S3 dentro ou diferentes regiões e contas da AWS. Podemos analisar a replicação de dados usando as métricas de replicação, se ativadas, no console S3. Nesta demonstração, discutimos como podemos configurar a replicação S3 em diferentes baldes S3 dentro ou através das regiões.