Pyspark - operações cumulativas da série Pandas

“No Python, o Pyspark é um módulo Spark usado para fornecer um tipo semelhante de processamento como o Spark usando séries, que armazenará os dados fornecidos em uma matriz (coluna no Pyspark internamente).

Pyspark - Pandas Series representa a série Pandas, mas mantém a coluna Pyspark internamente.

A estrutura de dados da série Pandas suporta e os pandas são importados do módulo Pyspark.

Antes disso, você deve instalar o módulo Pyspark.”

Comando

pip install pyspark

Sintaxe para importar

De Pyspark Import pandas

Depois disso, podemos criar ou usar a série do módulo pandas.

Sintaxe para criar a série Pandas

Pyspark.Pandas.Series()

Podemos passar uma lista ou lista de listas com valores.

Vamos criar uma série de pandas através do Pyspark que possui cinco valores numéricos.

#import pandas do módulo Pyspark
De Pyspark Import pandas
#Create Série com 5 elementos
pyspark_series = pandas.Série ([90,56,78,54,0])
Imprimir (Pyspark_series)

Saída

Agora, entraremos em nosso tutorial.

Operações cumulativas são usadas para retornar resultados cumulativos entre os valores da série Pyspark Pandas.

Vamos vê -los um por um.

Pyspark.Pandas.Series.Cumsum ()

Cumsum () retornará a soma cumulativa da série para cada elemento. Pode ser aplicado a toda a série Pyspark Pandas.

Sintaxe

Pyspark_series.Cumsum ()

Onde Pyspark_series é a série Pyspark Pandas

Exemplo
Neste exemplo, realizaremos uma operação de soma cumulativa na série.

#import pandas do módulo Pyspark
De Pyspark Import pandas
#Create Série com 5 elementos
pyspark_series = pandas.Série ([90,56,78,54,0])
#return soma cumulativa
Imprimir (Pyspark_series.Cumsum ())

Saída

Trabalhando:
90
90+56 = 146
90+56+78 = 224
90+56+78+54 = 278
90+56+78+54+0 = 278

Pyspark.Pandas.Series.cumprod ()

Cumprod () retornará o produto cumulativo da série para cada elemento. Pode ser aplicado a toda a série Pyspark Pandas.

Sintaxe

Pyspark_series.cumprod ()

Onde Pyspark_series é a série Pyspark Pandas

Exemplo
Neste exemplo, realizaremos uma operação cumulativa de produto na série.

#import pandas do módulo Pyspark
De Pyspark Import pandas
#Create Série com 5 elementos
pyspark_series = pandas.Série ([90,56,78,54,0])
#Return Produto cumulativo
Imprimir (Pyspark_series.cumprod ())

Saída

Trabalhando:
90
90*56 = 5040
90*56*78 = 393120
90*56*78*54 = 21228480
90*56*78*54*0 = 0

Pyspark.Pandas.Series.Cummin ()

Cummin () retornará o valor mínimo cumulativo da série para cada elemento. Pode ser aplicado a toda a série Pyspark Pandas.

Sintaxe

Pyspark_series.Cummin ()

Onde Pyspark_series é a série Pyspark Pandas

Exemplo
Neste exemplo, realizaremos uma operação Min cumulativa na série.

#import pandas do módulo Pyspark
De Pyspark Import pandas
#Create Série com 5 elementos
pyspark_series = pandas.Série ([90,56,78,54,0])
#Return Cumulative Minimum
Imprimir (Pyspark_series.Cummin ())

Saída

Trabalhando:
90
Mínimo (90,56) = 56
Mínimo (90,56,78) = 56
Mínimo (90,56,78,54) = 54
mínimo (90,56,78,54,0) = 0

Pyspark.Pandas.Series.Cummin ()

Cummin () retornará o valor mínimo cumulativo da série para cada elemento. Pode ser aplicado a toda a série Pyspark Pandas.

Sintaxe

Pyspark_series.Cummax ()

Onde Pyspark_series é a série Pyspark Pandas

Exemplo
Neste exemplo, realizaremos uma operação máxima cumulativa na série.

#import pandas do módulo Pyspark
De Pyspark Import pandas
#Create Série com 5 elementos
pyspark_series = pandas.Série ([90,56,78,54,0])
#return Máximo cumulativo
Imprimir (Pyspark_series.Cummax ())

Saída

Trabalhando:
90
Máximo (90,56) = 90
Máximo (90,56,78) = 90
Máximo (90,56,78,54) = 90
Máximo (90,56,78,54,0) = 90

Conclusão

Neste tutorial de Pyspark Pandas, discutimos operações cumulativas realizadas na série Pyspark Pandas. Cumsum () é usado para devolver a soma cumulativa, Cumprod () é usado para retornar o produto cumulativo em, Cummin () é usado para retornar o valor mínimo cumulativo, e Cummax () é usado para retornar o valor máximo cumulativo.