Introdução ao AWS EMR

O Amazon Cloud Provider oferece um serviço EMR através do qual os clusters podem ser lançados em minutos sem se preocupar com o gerenciamento de cluster e o provisionamento de nó. Ele permite que os serviços de armazenamento e computação da Amazon cresçam independentemente, levando a uma melhor utilização de recursos. Ele permite ao usuário armazenar dados em um balde Amazon S3 e executá -lo usando serviços de computação da plataforma.

Vamos começar com o serviço Amazon EMR.

Introdução ao AWS EMR

A Amazon EMR é um serviço de gerenciamento de dados que usa várias estruturas para análise de big data, criando clusters usando instâncias do Amazon EC2 e seu fluxo de trabalho foi explicado abaixo:

Planeje e configure: Para criar um cluster EMR, o usuário precisa planejar o armazenamento necessário para gerenciar big data e escolher as estruturas para analisar o big data.

Gerenciar: Gerenciar o cluster pode ser feito conectando -se a ele e enviando os dados no cluster para verificar os resultados antes de encerrar o cluster:

Limpar: Esta etapa é para encerrar o cluster e seus recursos e é importante, pois os clusters ociosos podem custar muito ao usuário:

Nó em EMR

Um cluster EMR é uma combinação de instâncias do EC2 e cada instância é chamada de nó e seus tipos são explicados abaixo:

Nó mestre: É o nó principal ou o nó líder, responsável por gerenciar todos os recursos do cluster.

Nó central: Ele hospeda dados do Sistema de Arquivos Distribuídos (HDFS) e executa as tarefas do nó primário e o nó primário gerencia as tarefas para o nó do núcleo.

Nó de tarefa: Esses nós não hospedam dados, mas executam tarefas para nós anteriores e é um nó auxiliar, o que significa que não é obrigatório criar ao lançar o cluster EMR:

Crie o cluster EMR

Para criar um cluster no serviço EMR da AWS, vá para o painel EMR pesquisando o serviço do console da Amazon:

Nesta página, selecione “Clusters”No painel esquerdo e clique no“Criar cluster" botão:

Na página de criação do cluster, clique no “Vá para opções avançadas" link:

Configuração de software: Na página de configurações avançadas, o usuário pode escolher várias estruturas de processamento de dados de código aberto, e o serviço também oferece a criação de vários nós na instância do EC2:

Configuração de hardware: Nesta página, o usuário pode configurar os recursos necessários para o cluster EMR disponível na nuvem:

Nós de cluster e instâncias: Esta seção oferece ao usuário para configurar os tipos de nós que criarão as instâncias do EC2 tendo recursos configurados:

Segurança: Na última página, selecione o arquivo de par de chaves privadas do EC2, que pode ser criado na página do par de chaves do painel EC2 para conectar -se aos nós:

O cluster EMR será exibido em sua página:

Você criou com sucesso um cluster EMR na AWS.

Conclusão

O serviço AWS EMR é usado para criar clusters para planejar o armazenamento para o big data a ser usado com a ajuda do sistema de arquivos distribuído. Cada cluster é criado com vários nós (instâncias EC2) anexadas a ele, que podem criar e se conectar à máquina virtual em branco na nuvem. Esses clusters podem ser usados ​​para gerenciar big data na nuvem sem que nenhum recurso seja usado do seu sistema.