Como criar um trabalho no Databricks usando a AWS

O Databricks não é apenas uma solução de fonte aberta, mas é uma combinação de múltiplas fontes são Spark, Deltalake e ML Flow. Os fluxos de trabalho do Databricks contêm a seção de trabalho para iniciar diferentes tarefas, criando um trabalho na plataforma Databricks. Os trabalhos estão no domínio dos fluxos de trabalho dentro da plataforma Databricks para executar tarefas diferentes através deles.

Vamos começar com como criar um emprego na plataforma Databricks usando a conta AWS.

Crie um trabalho no AWS Databricks

Para criar um trabalho no AWS Databricks, faça login na conta Databricks, fornecendo o email e a senha:

Na plataforma Databricks, clique no “Crie espaço de trabalho”Botão para abrir um menu suspenso. Depois disso, clique no “Comece o QuickStart”Botão do menu suspenso:

Forneça as credenciais do espaço de trabalho e clique em “Comece o QuickStart" botão:

Clicar no botão Quickstart levará o usuário à conta da AWS. Na plataforma da AWS, crie uma pilha selecionando a caixa de seleção de reconhecimento e clicando em “Crie pilha”O botão criará a pilha para o espaço de trabalho Databricks:

Aguarde alguns momentos para o processo de criação da pilha. Depois que a pilha for criada, volte para a janela Databricks:

Na plataforma Databricks, um espaço de trabalho foi criado e está no “Correndo" estado. Clique no "Abrir”Link para abrir o espaço de trabalho na nova guia no navegador da web:

A nova guia levará o usuário a fazer login na conta Databricks mais uma vez:

Antes de criar um emprego, o usuário precisa de um notebook para executar a tarefa. Clique no "Caderno”Do painel esquerdo na conta Databricks:

Digite as credenciais do notebook e clique em “Criar" botão:

Depois disso, crie um “Conjunto”Ao clicar nele no painel esquerdo na plataforma Databricks:

Forneça as configurações do cluster e clique no “Criar cluster" botão:

Depois que o cluster for criado, expanda o “Novo”Botão do painel esquerdo na plataforma para clicar no“Empregos" botão:

Forneça o nome da tarefa e depois o caminho do caderno, onde a tarefa será salva. Depois disso, selecione o cluster e clique no “Criar”Botão para criar um trabalho no Databricks:

Uma tarefa dentro de um trabalho foi criada com o caminho do notebook como um ambiente de tempo de execução para a tarefa:

Você criou com sucesso um emprego na plataforma Databricks usando a conta da AWS.

Conclusão

Para criar um trabalho no Databricks usando a conta da AWS, faça login no Databricks e crie um espaço de trabalho usando a conta da AWS. Depois que a área de trabalho for criada, basta entrar nele clicando no “Abrir”Link e faça login na conta do Databrick novamente. Crie um caderno no espaço de trabalho e, em seguida, crie um trabalho atribuindo uma tarefa usando o caderno. Esta posta.