Como importar o arquivo CSV em Kibana
“Os valores separados por vírgula (CSV) são um dos formatos de dados mais versáteis e fáceis de usar. É um formato de dados leve que permite que desenvolvedores e aplicativos transfiram e analisam dados de uma fonte para outra.
O CSV Data armazena dados em um formato tabular em que cada coluna é separada por uma vírgula, e um novo registro é alocado para uma nova linha. Isso torna uma escolha muito boa para exportar bancos de dados, como bancos de dados SQL, dados Cassandra e muito mais.
Portanto, não é surpresa que você encontre um cenário em que precisa importar um arquivo CSV para o seu banco de dados.
O objetivo deste tutorial é mostrar um método rápido e simples de importar um arquivo CSV no seu cluster Elasticsearch usando o painel Kibana.”
Vamos pular.
Requisitos
Antes de mergulhar, verifique se você tem os seguintes requisitos:
- Um cluster Elasticsearch com estado de saúde verde.
- Servidor Kibana conectado ao seu cluster Elasticsearch.
- Permissões suficientes para gerenciar índices em seu cluster.
Exemplo de arquivo CSV
Como sempre, o primeiro requisito é o seu arquivo CSV de origem. É bom garantir que os dados no seu arquivo CSV estejam bem formatados e que não contém erros.
Para fins de ilustração, usaremos um conjunto de dados gratuito que contém filmes e programas de TV da Amazon Prime.
Abra seu navegador e navegue até o recurso abaixo:
https: // www.Kaggle.com/conjuntos de dados/shivamb/amazon-prime-movies-e-tv shows
Siga o procedimento para baixar o conjunto de dados para sua máquina local. Você pode extrair o arquivo baixado com o comando:
$ descompacente a ~/downloads/rchive.fecho eclair
Importar arquivo CSV
Depois de ter seu arquivo de origem pronto, podemos prosseguir e discutir como importá -lo.
Comece indo para o seu painel doméstico de Kibana e selecionando a opção "Carregar um arquivo".
Localize o arquivo CSV de destino que você deseja importar na janela do lançador.
Selecione seu arquivo de origem e clique no upload.
Permitir que elasticsearch e kibana analisem o arquivo carregado. Isso analisará o arquivo CSV e determinará o formato de dados, campos, tipos de dados, etc.
Nota: Dependendo da sua configuração de cluster e do tamanho dos dados, esse processo pode demorar um pouco. Verifique se o nó mestre está respondendo para evitar tempo limite.
Depois que o processo estiver concluído, você deve obter uma amostra do seu conteúdo de arquivo e as estatísticas de arquivo, conforme analisado por elástico.
Você pode adaptar vários parâmetros, por exemplo, o delimitador, linhas de cabeçalho, etc. Por exemplo, podemos personalizar a saída acima para informar o Elastic que nosso arquivo CSV contém arquivos de cabeçalho.
Podemos então clicar em Aplicar e analisar os dados. Isso deve formatar os dados no formato correto, incluindo os campos.
Em seguida, podemos clicar em importar para prosseguir para o painel importado.
Aqui, precisamos criar um índice no qual os dados do CSV sejam armazenados. Você pode alocar qualquer nome suportado ao seu índice.
Se você deseja personalizar suas propriedades de índice, como o número de fragmentos, réplicas, mapeamentos, etc. Selecione a opção avançada e ajuste suas configurações enquanto seu coração deseja.
Por fim, clique em importar e observar como Kibana faz sua "mágica". Depois de concluído, você pode acessar seu índice por meio da API Elasticsearch ou usar o painel Kibana.
E você terminou!!
Conclusão
Neste post, cobrimos o processo de busca e importação do seu conjunto de dados CSV no seu cluster Elasticsearch usando o painel Kibana.
Obrigado pela leitura e codificação feliz!!