PYSPARK DESC_NULLS_FIRST E DESC_NULLS_LAST FUNÇÕES
Antes de discutir essas funções, criaremos uma amostra Pyspark Dataframe.
Dados
Importar Pyspark
de Pyspark.SQL Import SparkSession
Spark_App = SparkSession.construtor.nome do aplicativo('_').getorcreate ()
alunos = [(4, 'sravan', 23, nenhum, nenhum),
(4, 'Chandana', 23, 'CSS', 'Pyspark'),
(46, 'Mounika', 22, nenhum, '.LÍQUIDO'),
(4, 'Deepika', 21, 'html', nenhum),
]
dataframe_obj = spark_app.CreatedataFrame (estudantes, ['sujeito_id', 'nome', 'idade', 'tecnologia1', 'tecnologia2']))
dataframe_obj.mostrar()
Saída:
Agora, existem 5 colunas e 4 linhas.
função desc_nulls_first ()
A função des Desc_nulls_first () classifica os valores em uma coluna em ordem decrescente, mas colocará os valores nulos existentes em uma coluna.
Ele pode ser usado com o método select () para selecionar as colunas ordenadas. É muito importante usar a função orderby () porque a principal coisa aqui é o tipo.orderby () pega a função des Desc_nulls_first () como um parâmetro.
Sintaxe
dataframe_obj.Selecione (dataframe_obj.coluna).orderby (dataframe_obj.coluna.DESC_NULLS_
primeiro())
Onde dataframe_obj é o quadro e a coluna é o nome da coluna no qual os valores são classificados, todos os valores nulos serão colocados primeiro.
Então, nosso quadro de dados está pronto. Vamos demonstrar a função desc_nulls_first ().
Exemplo 1
Agora, classificaremos os valores na coluna Technology1 que não possui valores de nenhum/nulo em ordem decrescente usando a função des Desc_nulls_first ().
#Sort a coluna Technology1 em ordem descendente e obtenha os valores nulos primeiro.
dataframe_obj.Selecione (dataframe_obj.tecnologia1).orderby (dataframe_obj.Technology1.descido
nulls_first ()).mostrar()
Saída:
Na verdade, existem dois valores nulos. Primeiro, eles são colocados e, posteriormente, HTML e CSS são classificados em ordem decrescente.
Exemplo 2
Agora, classificaremos os valores na coluna Technology2 que não possuem valores de nenhum/nulo em ordem descendente usando a função des Desc_nulls_first ().
#Sort a coluna Technology2 em ordem descendente e obtenha os valores nulos primeiro.
dataframe_obj.Selecione (dataframe_obj.tecnologia2).orderby (dataframe_obj.Technology2.descido
nulls_first ()).mostrar()
Saída:
Na verdade, existem dois valores nulos. Primeiro, eles são colocados e mais tarde, Pyspark e .A rede é classificada em ordem decrescente.
função desc_nulls_last ()
A função des Desc_nulls_last () classifica os valores em uma coluna em ordem decrescente, mas colocará os valores nulos existentes em uma coluna.
Ele pode ser usado com o método select () para selecionar as colunas ordenadas. É muito importante usar o orderby () porque a principal coisa aqui é o tipo.orderby () toma desc_nulls_first () como um parâmetro.
Sintaxe
dataframe_obj.Selecione (dataframe_obj.coluna).orderby (dataframe_obj.coluna.DESC_NULLS_
durar())
Onde, dataframe_obj é o quadro e a coluna é o nome da coluna no qual os valores são classificados de modo que todos os valores nulos serão colocados como último.
Então, nosso quadro de dados está pronto. Vamos demonstrar a função des Desc_nulls_last ().
Exemplo 1
Agora, classificaremos os valores na coluna Technology2 com valores nenhum/nulo em ordem decrescente usando a função Desc_nulls_last ().
#Sort a coluna da tecnologia1 em ordem decrescente e obtenha os valores nulos duram.
dataframe_obj.Selecione (dataframe_obj.tecnologia1).orderby (dataframe_obj.Technology1.descido
nulls_last ()).mostrar()
Saída:
Na verdade, existem dois valores nulos. Primeiro, HTML e CSS são classificados em ordem decrescente e dois valores nulos são colocados por último.
Exemplo 2
Agora, classificaremos os valores na coluna Technology2 que não possuem valores de nenhum/nulo em ordem decrescente usando a função des Desc_nulls_last ().
#Sort a coluna Technology2 em ordem descendente e obtenha os valores nulos duram.
Dataframe_obj.Selecione (dataframe_obj.tecnologia2).orderby (dataframe_obj.Technology2.descido
nulls_last ()).mostrar()
Saída:
Na verdade, existem dois valores nulos. Primeiro, .Net e Pyspark são classificados em ordem decrescente e dois valores nulos são colocados por último.
Código geral
Importar Pyspark
de Pyspark.SQL Import SparkSession
Spark_App = SparkSession.construtor.nome do aplicativo('_').getorcreate ()
alunos = [(4, 'sravan', 23, nenhum, nenhum),
(4, 'Chandana', 23, 'CSS', 'Pyspark'),
(46, 'Mounika', 22, nenhum, '.LÍQUIDO'),
(4, 'Deepika', 21, 'html', nenhum),
]
dataframe_obj = spark_app.CreatedataFrame (estudantes, ['sujeito_id', 'nome', 'idade', 'tecnologia1', 'tecnologia2']))
dataframe_obj.mostrar()
#Sort a coluna Technology1 em ordem descendente e obtenha os valores nulos primeiro.
dataframe_obj.Selecione (dataframe_obj.tecnologia1).orderby (dataframe_obj.Technology1.descido
nulls_first ()).mostrar()
#Sort a coluna Technology2 em ordem descendente e obtenha os valores nulos primeiro.
dataframe_obj.Selecione (dataframe_obj.tecnologia2).orderby (dataframe_obj.Technology2.descido
nulls_first ()).mostrar()
#Sort a coluna da tecnologia1 em ordem decrescente e obtenha os valores nulos duram.
dataframe_obj.Selecione (dataframe_obj.tecnologia1).orderby (dataframe_obj.Technology1.descido
nulls_last ()).mostrar()
#Sort a coluna da tecnologia1 em ordem decrescente e obtenha os valores nulos duram.
dataframe_obj.Selecione (dataframe_obj.tecnologia1).orderby (dataframe_obj.Technology1.descido
nulls_last ()).mostrar()
Conclusão
No final deste tutorial do Pyspark, aprendemos que é possível lidar com NULL enquanto classifica os valores em um DataFrame usando as funções descec_nulls_first () e desc_nulls_last (). A função des Desc_nulls_first () classifica os valores em uma coluna em ordem decrescente, mas organizará os valores nulos existentes em uma coluna primeiro. A função des Desc_nulls_last () classifica os valores em uma coluna em ordem decrescente, mas organizará os valores nulos existentes em uma coluna Última. Você pode executar todo o código especificado na última parte do tutorial.