Pyspark - Conde

No Python, Pyspark é um módulo Spark usado para fornecer um tipo semelhante de processamento como o Spark usando o DataFrame. count () em Pyspark é usado para retornar o número de linhas de uma coluna específica no quadro de dados. Podemos obter a contagem de três maneiras.

Método 1: Usando o método select ()
Método 2: Usando o método agg ()
Método 3: Usando o Método Groupby ()

Antes disso, temos que criar dados de dados Pyspark para demonstração.

Exemplo:

Criaremos um DataFrame com 5 linhas e 6 colunas e exibiremos -o usando o método show ().

#import o módulo Pyspark
Importar Pyspark
#Import SparkSession para criar uma sessão
de Pyspark.SQL Import SparkSession
#Crie um aplicativo chamado Linuxhint
Spark_App = SparkSession.construtor.AppName ('Linuxhint').getorcreate ()
# Crie dados dos alunos com 5 linhas e 6 atributos
alunos = [
'rollno': '001', 'nome': 'sravan', 'idade': 23,
'Altura': 5.79, 'Peso': 67, 'Endereço': 'Guntur',
'rollno': '002', 'nome': 'ojaswi', 'idade': 16,
'Altura': 3.79, 'Peso': 34, 'Endereço': 'Hyd',
'rollno': '003', 'nome': 'gnanesh chowdary', 'idade': 7,
'Altura': 2.79, 'Peso': 17, 'Endereço': 'Patna',
'rollno': '004', 'nome': 'rohith', 'idade': 9,
'Altura': 3.69, 'Peso': 28, 'Endereço': 'Hyd',
'rollno': '005', 'nome': 'sridevi', 'idade': 37,
'Altura': 5.59, 'Peso': 54, 'Endereço': 'Hyd']
# Crie o DataFrame
df = spark_app.CreatedAtAframe (estudantes)
#display dataframe
df.mostrar()

Saída:

Método -1: Usando o método select ()

Podemos obter a contagem da coluna no DataFrame usando o método select (). Usando o método count (), podemos obter o número total de linhas da coluna. Para usar este método, temos que importá -lo do Pyspark.SQL.Módulo de funções e, finalmente, podemos usar o método collect () para obter a contagem da coluna

Sintaxe:

df.Selecione (Count ('Column_Name')))

Onde,

DF é o quadro de dados Pyspark de entrada
Column_name é a coluna para obter o número total de linhas (contagem).

Se queremos retornar a contagem de várias colunas, precisamos usar o método count () dentro do método select () especificando o nome da coluna separado por uma vírgula.

Sintaxe:

df.Selecione (contagem ('column_name'), count ('column_name'),… ., count ('column_name'))

Onde,

DF é o quadro de dados Pyspark de entrada
Column_name é a coluna para obter o número total de linhas (contagem).

Exemplo 1: coluna única

Este exemplo receberá a contagem da coluna de altura no quadro de dados Pyspark.

#import o módulo Pyspark
Importar Pyspark
#Import SparkSession para criar uma sessão
de Pyspark.SQL Import SparkSession
#import a função de contagem
de Pyspark.SQL.funções contagem de importações
#Crie um aplicativo chamado Linuxhint
Spark_App = SparkSession.construtor.AppName ('Linuxhint').getorcreate ()
# Crie dados dos alunos com 5 linhas e 6 atributos
alunos = [
'rollno': '001', 'nome': 'sravan', 'idade': 23,
'Altura': 5.79, 'Peso': 67, 'Endereço': 'Guntur',
'rollno': '002', 'nome': 'ojaswi', 'idade': 16,
'Altura': 3.79, 'Peso': 34, 'Endereço': 'Hyd',
'rollno': '003', 'nome': 'gnanesh chowdary', 'idade': 7,
'Altura': 2.79, 'Peso': 17, 'Endereço': 'Patna',
'rollno': '004', 'nome': 'rohith', 'idade': 9,
'Altura': 3.69, 'Peso': 28, 'Endereço': 'Hyd',
'rollno': '005', 'nome': 'sridevi', 'idade': 37,
'Altura': 5.59, 'Peso': 54, 'Endereço': 'Hyd']
# Crie o DataFrame
df = spark_app.CreatedAtAframe (estudantes)
#Return O número de valores/linhas da coluna de altura
#Using Count
df.Selecione (contagem ('altura')).colecionar ()

Saída:

[Linha (contagem (altura) = 5)]

No exemplo acima, a contagem da coluna de altura é retornada.

Exemplo 2: várias colunas

Este exemplo receberá a contagem das colunas de altura, idade e peso no quadro de dados Pyspark.

#import o módulo Pyspark
Importar Pyspark
#Import SparkSession para criar uma sessão
de Pyspark.SQL Import SparkSession
#import a função de contagem
de Pyspark.SQL.funções contagem de importações
#Crie um aplicativo chamado Linuxhint
Spark_App = SparkSession.construtor.AppName ('Linuxhint').getorcreate ()
# Crie dados dos alunos com 5 linhas e 6 atributos
alunos = [
'rollno': '001', 'nome': 'sravan', 'idade': 23,
'Altura': 5.79, 'Peso': 67, 'Endereço': 'Guntur',
'rollno': '002', 'nome': 'ojaswi', 'idade': 16,
'Altura': 3.79, 'Peso': 34, 'Endereço': 'Hyd',
'rollno': '003', 'nome': 'gnanesh chowdary', 'idade': 7,
'Altura': 2.79, 'Peso': 17, 'Endereço': 'Patna',
'rollno': '004', 'nome': 'rohith', 'idade': 9,
'Altura': 3.69, 'Peso': 28, 'Endereço': 'Hyd',
'rollno': '005', 'nome': 'sridevi', 'idade': 37,
'Altura': 5.59, 'Peso': 54, 'Endereço': 'Hyd']
# Crie o DataFrame
df = spark_app.CreatedAtAframe (estudantes)
#Return a contagem das colunas de altura, idade e peso
df.Selecione (Count ('Height'), Count ('Age'), Count ('Weight')).colecionar ()

Saída:

[Linha (contagem (altura) = 5, contagem (idade) = 5, contagem (peso) = 5)]

No exemplo acima, a contagem das colunas de altura, idade e peso é retornada.

Método - 2: Usando o método agg ()

Podemos obter a contagem da coluna no DataFrame usando o método agg (). Este método é conhecido como agregação, que agrupa os valores dentro de uma coluna. Será necessário o dicionário como um parâmetro nessa chave será o nome da coluna e o valor é a função agregada, i.e., contar. Usando o método count (), podemos obter o número de linhas da coluna e, finalmente, podemos usar o método collect () para obter a contagem da coluna.

Sintaxe:

df.agg ('column_name': count)

Onde,

DF é o quadro de dados Pyspark de entrada
Column_name é a coluna para obter o número total de linhas (contagem).
A contagem é uma função de agregação usada para retornar o número de linhas

Se queremos retornar a contagem de várias colunas, devemos especificar o nome da coluna com a função de contagem separada por uma vírgula.

Sintaxe:

df.agg ('column_name': count, 'column_name': count,…, 'column_name': count)

Onde,

DF é o quadro de dados Pyspark de entrada
Column_name é a coluna para obter o número total de linhas (contagem).
A contagem é uma função de agregação usada para retornar o número total de linhas

Exemplo 1: coluna única

Este exemplo receberá a contagem da coluna de altura no quadro de dados Pyspark.

Saída:

[Linha (contagem (altura) = 5)]

No exemplo acima, a contagem da coluna de altura é retornada.

Exemplo 2: várias colunas

Este exemplo receberá a contagem das colunas de altura, idade e peso no quadro de dados Pyspark.

Saída:

[Linha (contagem (peso) = 5, contagem (idade) = 5, contagem (altura) = 5)]

No exemplo acima, a contagem das colunas de altura, idade e peso é retornada.

Método - 3: Usando o Método Groupby ()

Podemos obter a contagem da coluna no DataFrame usando o método groupby (). Este método retornará o número total de linhas agrupando valores semelhantes em uma coluna. Temos que usar a função count () após executar a função groupby ()

Sintaxe:

df.grupo (group_column). contar()

Onde,

DF é o quadro de dados Pyspark de entrada
group_column é a coluna em que os valores são agrupados com base nesta coluna
A contagem é uma função agregada usada para retornar o número total de linhas com base em linhas agrupadas

Exemplo :

Neste exemplo, vamos agrupar a coluna de endereço e obter a contagem

Saída:

Existem três valores únicos no campo de endereço - Hyd, Guntur e Patna. Portanto, a contagem será formada agrupando os valores nos valores do endereço.

[Linha (endereço = 'hyd', count = 3),
Linha (endereço = 'guntur', contagem = 1),
Linha (endereço = 'patna', contagem = 1)]

Conclusão:

Discutimos como obter a contagem do Pyspark DataFrame usando os métodos selecion () e agg (). Para obter o número total de linhas agrupando com outras colunas, usamos o grupo junto com a função count ().

AWS

Uma comparação entre CloudTrail e Guardduty

O AWS CloudTrail é usado para monitorar e registrar atividades na infraestrutura da AWS e a guarda u...

Mr. Warren Cummerata

Docker

Como parar todos os serviços do Docker?

Para interromper todos os serviços do Docker, incluindo o mecanismo Docker e todos os contêineres em...

Tommie Konopelski

Golang

O que são pacotes em Golang?

Um pacote é uma técnica de agrupamento de código em busca em pedaços reutilizáveis e gerenciáveis....

Mr. Warren Cummerata