Como criar trabalho de operação em lote S3

Uma operação em lote é uma tarefa ou trabalho executado por um sistema automaticamente com uma interface humana mínima. A operação pode ser agendada, o que significa que sempre será executada da mesma maneira rotineira ou invocada por uma chamada de função. Além disso, uma operação em lote nos permite executar a mesma tarefa em um grande número de objetos em vez de fazê -lo em cada objeto um por um. Isso o torna muito econômico e economizando tempo para o servidor.

A AWS nos permite criar operações em lote para que nossos baldes S3 processem dados em larga escala. Ele também gerencia e rastreia as tarefas de operação em lote e mantém os relatórios com detalhes sobre a conclusão do trabalho. As coisas são muito mais fáceis de gerenciar, pois esse é um serviço sem servidor da AWS. Vejamos como criar um trabalho de operação em lote para o nosso balde S3.

Criando operação em lote S3 usando o console

Agora, veremos como criar um trabalho de operação em lote S3. Então, faça login na sua conta do AWS e crie um balde S3.

Para criar um trabalho de operação em lote, exigimos um arquivo manifesto dos dados que precisamos gerenciar usando esse trabalho. Para gerar o manifesto, vá para a seção de gerenciamento no seu balde S3 usando a barra de menu superior.

Na seção de gerenciamento, arraste para as configurações de inventário e clique em Criar configurações de inventário.

Na seção Criar, você precisa dar um nome para sua configuração de inventário.

Em seguida, você precisa selecionar o caminho de destino onde deseja armazenar seus relatórios de inventário. Você também precisa anexar a política para conceder permissão para colocar dados no balde S3.

Você também pode alterar o formato do arquivo manifesto se quiser. Aqui, vamos com CSV, pois desejamos utilizar isso em uma operação em lote.

O usuário pode especificar que tipo de informação ele deseja em seu relatório de manifesto e sobre quais objetos. A AWS fornece várias opções, como tipo de objeto, classe de armazenamento, integridade de dados e bloqueio de objeto.

Agora, basta clicar no botão Criar no canto direito do botão e você obterá sua configuração de inventário para o seu balde S3. O relatório do manifesto será gerado em 48 horas e armazenado no balde de destino.

Em seguida, vamos criar um trabalho em lote S3. Basta clicar nas operações do lote no painel do menu certo na seção S3 para abrir o console de operação em lote.

Aqui, temos que criar um trabalho específico para uma tarefa específica que queremos executar em nossos objetos no balde S3. Portanto, clique em Criar trabalho para começar a criar seu primeiro trabalho de operação em lote S3.

Para a criação de empregos, primeiro precisamos de um manifesto que forneça os detalhes sobre os objetos armazenados no balde. Você pode criar um manifesto no JSON ou CSV a partir da seção de gerenciamento do seu balde S3, mas isso levará algum tempo para gerar o relatório. Então, cliquem em Criar manifesto usando a configuração de replicação S3.

Escolha o balde de origem para o qual você vai criar este trabalho. O balde também pode pertencer a outra conta da AWS.

Você também pode salvar o manifesto, que será finalmente criado para esta operação em lote. Você tem que fornecer o destino onde ele será salvo.

Agora, podemos escolher a operação que queremos que nossa operação em lote execute. A AWS fornece várias operações, como objetos de copiar, invocar funções lambda, excluir tags e muitos outros. No entanto, um manifesto criado usando a configuração de replicação S3 apenas permite a operação de replicação.

Em seguida, você pode fornecer a descrição da operação em lote e definir o nível de prioridade com base em números; Alto valor significa maior prioridade.

Se você deseja obter um relatório de conclusão de emprego, verifique a opção Gerate Conclusão e forneça o local onde ele será armazenado.

Para permissões, você precisa ter uma função de IAM com uma política de operações em lote S3 que você possa criar facilmente para operações em lote na seção IAM.

Por fim, revise todas as configurações e clique em Criar trabalho para concluir o processo.

Uma vez criado, ele aparecerá na seção de empregos. Pode levar algum tempo para estar pronto com base nas operações que você selecionou para o trabalho. Depois disso, você pode executá -lo como quiser.

Então, criamos com sucesso um trabalho de operação em lote S3 usando o console da AWS.

Criando operação em lote S3 usando CLI

Agora, vamos ver como configurar um trabalho de operação em lote S3 usando a interface da linha de comando da AWS. Para isso, configure as credenciais da CLI da AWS em sua máquina. Visite o seguinte blog para configurar as credenciais da CLI da AWS.

https: // linuxhint.com/configure-aws-cli-credentials/

Depois de configurar as credenciais da CLI da AWS, crie um balde S3 usando o seguinte comando no terminal:

$: aws s3api create-bucket-bucket --região

Então, você precisa criar a operação em lote que deseja executar em seus objetos. Portanto, crie um documento JSON, defina a operação desejada e forneça os atributos necessários da referida operação. A seguir, é apresentado um exemplo de operação de marcação de objetos S3:

Em seguida, se você deseja gerar o relatório de conclusão do seu trabalho em lote, deve fornecer o destino para armazenar esse arquivo de relatório. O formato JSON padrão para isso é o seguinte:

"Balde": "",
"Format": "Report_CSV_20180820",
"Enabled": True | falso,
"Prefixo": "",
"ReportScope": "AllTasks | FailTasksonly"

Em seguida, você precisa fornecer o arquivo de manifesto que contém os metadados de todos os objetos armazenados no seu balde S3 no qual você deseja executar a operação em lote. Você precisa criar outro arquivo JSON com os seguintes atributos:

"Spec":
"Formato": "s3batchoperations_csv_20180820"
"Fields": ["Bucket", "Key"]
,
"Localização":
"Objectarn": "",
"ObjectversionId": "",
"Etag": ""

Finalmente, podemos criar nossa operação em lote usando o seguinte comando:

$: AWS S3Control Create-Job
--ID da conta
--Necessária confirmação
--Arquivo de operação:
--Arquivo de relatório: //
--Arquivo de manifesto: //--Arno de papel

Então, criamos com sucesso um trabalho de operação em lote usando a AWS CLI.

Conclusão:

A operação em lote S3 é uma ferramenta muito útil para usar quando você deseja gerenciar um grande número de objetos. Trabalhos em lote podem ser difíceis e complexos de montar pela primeira vez. Mas eles podem facilmente reduzir seu esforço, custo e tempo. Eles são usados ​​para executar algoritmos complexos, tarefas repetitivas, a tabela se junta aos bancos de dados SQL, invocam uma função lambda e chame uma API REST. Você só precisa fornecer a lista de objetos no seu balde S3 no qual deseja executar a tarefa, e o processo será executado sempre que a operação em lote for acionada. Exemplos comuns de operações em lote incluem marcação de objetos S3, recuperação de dados específicos da geleira S3, transferindo dados de um balde S3 para outro, gerando extratos bancários, processando relatórios e previsões analíticas, notificações de atendimento de pedidos e sistema de sincronização por email. Esperamos que você tenha achado este artigo útil. Verifique os outros artigos de dica do Linux para obter mais dicas e tutoriais.