Como criar um cluster de desvio para o vermelho na AWS
O que é Amazon Redshift
O AWS Redshift é um data warehouse usado especificamente para análise de dados em conjuntos de dados menores ou maiores. É um serviço gerenciado da AWS, para que você possa configurá -lo facilmente em pouco tempo com apenas alguns cliques. Para configurar o Redshift, você deve criar os nós que se combinam para formar um cluster de desvio para o vermelho. Um cluster pode ter no máximo 128 nós. Dos quais, um nó é configurado como um nó principal que pode gerenciar todos os outros nós e armazenar os resultados consultados. Cada nó pode levar até 128 TB de dados para processar. Usando o Redshift, você pode consultar dados cerca de dez vezes mais rápido que os bancos de dados regulares.
Geralmente, os dados que precisam ser analisados são colocados no balde S3 ou em outros bancos de dados. Mas você também pode consultar diretamente os dados em S3 usando o espectro do Redshift. Além disso, você também pode usar casos de fogo de Kinesis ou instâncias do EC2 para escrever dados no seu cluster de desvio para o vermelho.
Este serviço está limitado apenas a operar em uma única zona de disponibilidade, mas você pode tirar os instantâneos do seu cluster de desvio para o vermelho e copiá -los para outras zonas. Esse processo também pode ser automatizado para ajudar na recuperação de desastres.
Na próxima seção, discutiremos como criar e configurar o cluster do desvio para o vermelho na AWS usando o console de gerenciamento da AWS e a interface da linha de comando.
Criando cluster de desvio para o vermelho usando o console
Primeiro, faça login na sua conta da AWS usando credenciais da AWS e procure o Redshift usando a barra de pesquisa superior. Isso o levará ao console do desvio para o vermelho.
Clique no Criar cluster Para começar a criar um novo cluster de desvio para o vermelho.
Na seção de configuração, você precisa fornecer o identificador ou nome para o seu cluster de desvio para o vermelho. O nome do cluster do desvio para o vermelho deve ser único na região e pode conter de 1 a 63 caracteres.
Depois de fornecer o identificador exclusivo de cluster, ele perguntará se você precisa escolher entre produção ou camada gratuita. Para evitar custos adicionais, usaremos o tipo de camada gratuito para este fins de demonstração.
Com o tipo de camada gratuito, você recebe um dc2.Nó grande desvio para o vermelho com tipos de armazenamento SSD e potência de computação de 2 vcpus.
Com a opção de camada gratuita, a AWS carrega automaticamente alguns dados de amostra para o seu cluster de desvio para o vermelho para ajudá -lo a aprender sobre o AWS Redshift.
Os dados de amostra enviados pela AWS são chamados de tickit e usa um banco de dados de amostra chamado Tickit. Tickit contém arquivos de dados de amostra individuais: duas tabelas de fatos e cinco dimensões.
Depois de carregar dados de amostra, ele solicitará o nome de usuário e a senha do Administrador para autenticar com a AWS Redshift. Você pode definir a senha do administrador sozinho, ou pode ser gerada automaticamente clicando no Gerar automaticamente botão de senha.
Depois de fornecer o nome de usuário e a senha do administrador, podemos criar nosso cluster clicando no Criar cluster no canto inferior direito.
Isso criará nosso novo cluster de desvio para o vermelho e carregará os dados da amostra nele. Você pode ver seus clusters disponíveis no console do desvio para o vermelho.
O Redshift é algum tipo de banco de dados SQL que pode executar análises em conjuntos de dados e suporta consultas do tipo SQL. Para executar a análise usando o desvio para o vermelho, selecione o cluster que você deseja e clique em Dados de consulta Para criar uma nova consulta.
Para executar a consulta, você precisa se conectar com algum cluster de desvio para o vermelho. Para conseguir isso, selecione a opção disponível no topo no Dados de consulta seção.
Primeiro, você deve selecionar a conexão que será uma nova conexão se quiser usar o cluster do desvio para o vermelho pela primeira vez. Não criamos nenhum parâmetro para autenticação usando o gerenciador de segredos, por isso escolheremos credenciais temporárias.
Em seguida, precisamos selecionar o identificador de cluster, o nome do banco de dados e o usuário do banco de dados. Depois disso, clique em Conectar no canto inferior direito.
Se a conexão for estabelecida com sucesso, você poderá visualizar o status "conectado" na parte superior da seção de dados de consulta.
Após a conexão bem -sucedida, você pode simplesmente escrever sua consulta SQL usando o editor fornecido. Vamos criar uma nova tabela com o título pessoas e ter cinco atributos. Depois que sua consulta estiver concluída, você pode executá -la usando o correr opção no fundo.
Crie pessoas de tabela (
PersonId int,
LastName Varchar (255),
Primeiro nome Varchar (255),
Endereço Varchar (255),
City Varchar (255)
);
Quando você clica no Correr botão, ele criará uma tabela chamada Pessoas com os atributos especificados na consulta.
Todo o esquema de banco de dados pode ser visto no lado esquerdo na mesma seção. Você pode ver a tabela recém -criada e seus atributos aqui:
Então, aqui, vimos como criar um cluster de desvio para o vermelho e executar consultas usando -o de uma maneira simples.
Criando cluster de desvio para o vermelho usando a AWS CLI
Agora, veremos como usar a interface da linha de comando da AWS para configurar um cluster de desvio para o vermelho. Depois de se acostumar com a linha de comando e ganhar alguma experiência, você o achará mais satisfatório e conveniente do que o AWS Management Console.
Primeiro, você precisa configurar a AWS CLI em seu sistema. Para obter as instruções para configurar credenciais da CLI, visite o seguinte artigo:
https: // linuxhint.com/configure-aws-cli-credentials/
Para criar um novo cluster de desvio para o vermelho, você deve executar o seguinte comando usando a CLI:
$: AWS Redshift Create-Cluster \
--tipo de nó\
--Tipo de cluster\
--número de nodos\
--Nome do mestre\
--Pass-Password mestre-usuário < username password> \
--identificador de cluster
Se o cluster for criado com sucesso em sua conta da AWS, você obterá uma saída detalhada, conforme mostrado na captura de tela a seguir:
Então, seu cluster é criado e configurado. Se você quiser ver todos os clusters do Redshifts em uma região específica, você precisará do seguinte comando. Isso fornecerá os detalhes sobre todos os clusters criados em sua conta da AWS.
$: AWS Redshift Descrevante Classificadores
Finalmente, vimos como criar facilmente um cluster de desvio para o vermelho usando o AWS CLI.
Conclusão
O Amazon Redshift é um serviço de data warehousing totalmente gerenciado que pode ser usado com outros serviços da AWS, como baldes S3, bancos de dados RDS, instâncias EC2, casas de fogo de Kinesis, chapim e muitos outros para produzir resultados desejados a partir dos dados fornecidos. Ele pode fornecer backups em caso de falha para recuperação de desastres e possui alta segurança usando criptografia, políticas de IAM e VPC. Portanto, é um serviço muito seguro e confiável que pode analisar grandes conjuntos de dados em um ritmo acelerado.