Pyspark Array_Contains

Evan Mueller

Este artigo apresentará e demonstrará o Pyspark's Array_contains () método. O método é usado para verificar se existem valores específicos dentro de uma matriz no Pyspark.

Neste artigo, temos que criar um quadro de dados com uma matriz. Vamos criar um quadro de dados com 2 colunas. A primeira coluna é Student_category, que se refere ao campo inteiro para armazenar IDs de estudante. A segunda coluna - Student_full_Name é usada para armazenar valores de string em uma matriz criada usando ArrayType ().

#import o módulo Pyspark
Importar Pyspark
#Import SparkSession para criar uma sessão
de Pyspark.SQL Import SparkSession
#e importar tipos de estrutura e outros tipos de dados
de Pyspark.SQL.Tipos de importação estruttype, structfield, stringtype, integertype, floottype, ArrayType
de Pyspark.SQL.Funções Importar Array_Contains
#Crie um aplicativo chamado Linuxhint
Spark_App = SparkSession.construtor.AppName ('Linuxhint').getorcreate ()
# Considere uma matriz com 5 elementos
my_array_data = [(1, ['a']), (2, ['b', 'l', 'b']), (3, ['k', 'a', 'k']), ( 4, ['k']), (3, ['b', 'p']]]]
#Define o StructType e Structfields
#para os dados acima
esquema = structtype ([structfield ("student_category", integertype ()), structfield ("student_full_name", arraytype (stringtype ())))))
#Crie o DataFrame e adicione esquema ao DataFrame
df = spark_app.Createdataframe (my_array_data, esquema = esquema)
df.mostrar()

Saída:

Agora, veremos o que Array_contains () faz.

Array_contains () é usado para verificar se a matriz possui o elemento especificado. Se sim, ele retornará verdadeiro, caso contrário, falsa.

Isso é possível verificar usando o método select (). Dentro deste método, podemos usar a função Array_contains () e retornar o resultado.

Sintaxe:

quadro de dados.Selecione (Array_contains (Array_column, value '))

Parâmetros:

Array_column contém valores do tipo de matriz
O valor é usado para verificar se existe no Array_column ou não.

Retornar:

Ele retornará verdadeiro/falso em todas as linhas em uma coluna de matriz.

Exemplo 1:

Neste exemplo, verificaremos se a coluna student_full_name possui 'l' em todas as linhas usando a função Array_contains ().

Saída:

Aqui, selecionamos as colunas do Student_full_Name. A primeira coluna é a coluna real e a segunda coluna é o resultado retornado pela função Array_contains ().

Somente a segunda linha tem valor 'l', por isso retorna verdadeiro e o restante resulta em false.

Exemplo 2:

Neste exemplo, verificaremos se a coluna student_full_name possui 'k' em todas as linhas usando a função Array_contains ().

Saída:

Aqui, selecionamos as colunas do Student_full_Name. A primeira coluna é a coluna real e a segunda coluna é o resultado retornado pela função Array_contains ().

Somente o terceiro e a quarta fila têm valor 'k', por isso retorna verdadeiro, e o restante resulta para false.

Agora, se você deseja retornar a linha inteira no DataFrame, com base no valor especificado no método Array_contains (), poderá usar onde ou filtro () Cláusula em vez de selecionar cláusula.

Exemplo 1: Usando onde ()

Neste exemplo, retornaremos a linha em que a coluna Student_full_Name possui 'K' usando a função Array_Contains ().

Saída:

Você pode ver que as linhas foram devolvidas onde o Student_full_Name tem K Value.

Exemplo 2: Usando o filtro ()

Neste exemplo, retornaremos a linha em que a coluna Student_full_Name possui 'k' usando a função Array_contains () com filtro com filtro.

Saída:

Você pode ver que as linhas foram devolvidas onde o Student_full_Name tem K Value.

Conclusão

Chegamos a saber que Array_contains () é usado para verificar se o valor está presente em uma matriz de colunas. Isso pode ser alcançado usando a cláusula de seleção.

Se você precisar retornar linhas onde a matriz contém valores, em vez de selecionar, você pode usar onde ou cláusula filtro.

php

Como usar a função php getDate

O getDate () no PHP retorna uma matriz que contém todos os detalhes da hora atual, incluindo uma des...

Orlando Green

C nítido

Como usar a herança em C#

A herança permite que uma classe herde propriedades e métodos de outra classe. Permite a criação de ...

Mr. Warren Cummerata

php

Como verificar se uma matriz está vazia em php?

Encontrar uma matriz vazia no PHP é crucial para garantir a execução suave e sem erros do código. Es...

Bryant Rowe Sr.