Como tokenizar uma string em javascript

Para abordar a questão do tokenizador de string, alguns idiomas oferecem aulas especiais. No JavaScript, nenhuma aula ou funções dedicadas suporta problemas de string de string. No entanto, temos um mecanismo eficaz na forma de expressões regulares. Portanto, use expressões regulares com um método predefinido de JavaScript para analisar strings em tokens para tokenização.

Este artigo ilustrará o procedimento para tokenização de string javascript.

Como tokenizar uma string em javascript?

Para tokenizar uma string em javascript, use o método interno JavaScript chamado “dividir()”Método. O método javascript split () divide uma corda em uma variedade de substringas. A string original não foi alterada. Requer dois parâmetros opcionais que indicam como o método deve agir.

Como tokenizar uma string usando o método split ()?

Siga a sintaxe abaixo do método split () para tokenizar uma string em javascript:

corda.divisão (separador, limite);

• • Aqui o "separador”É um caractere alfanumérico ou não alfanumérico, como um espaço, ou um padrão regex, é usado como parâmetro separador para especificar onde dividir a string.
  • ““limite”É um número inteiro que indica o número de divisões.
  • O método é invocado em uma variável que possui um valor de string com a ajuda da notação de pontos.
  • Ele retorna uma variedade de substringas com base nos argumentos e, se nenhum parâmetro for passado no método, ele retornará toda a string.

Exemplo 1

No exemplo seguinte, primeiro, crie uma variável “str”E armazene uma string nela:

var str = "Linuxhint é o melhor site para habilidades de aprendizado";

Agora, divida a corda em tokens usando o “dividir()Método passando (““) como um argumento. O espaço indica que a string será dividida à medida que o espaço ocorre:

var strtoken = str.dividir(" ");

Por fim, imprima os tokens no console usando o “console.registro()”Método:

console.log (strtoken);

A saída exibe uma matriz de substringas com base no separador “espaço”(""):

O método split () também leva o “padrão regex”Como um separador em vez de um personagem específico como argumento:

var strtoken = str.divisão (/\ w+/);

Aqui, no padrão de regex, as barras para a frente (/) indica o início e o fim de um padrão, enquanto o (\C) é o metacaracter que corresponde a todos os caracteres alfanuméricos A-Z, A-Z, 0-9 sem espaços brancos. Enquanto (+) indica várias correspondências.

Saída

Se você deseja obter fichas de um comprimento específico de uma string, siga a seção fornecida.

Exemplo 2

Agora, tokenize uma série de comprimento três de uma corda. Para fazer isso, use o “filtro()”Método com o“dividir()”Método:

var strtoken = str.dividir(" ").filtro (função (token)
Token de retorno.comprimento == 3;
);

Imprima os tokens resultantes no console:

console.log (strtoken);

A saída indica que apenas as substâncias do comprimento 3 são retornadas da string:

Conclusão

Para tokenizar uma string em javascript, você pode usar o “dividir()”Método. O método split () divide a string, dependendo de sua entrada "separador”. Ele pode dividir uma corda em várias cordas menores, dependendo dos argumentos. Se o método não receber parâmetros, toda a string será impressa. Se você deseja obter tokens de um comprimento específico de uma string, use o “filtro()”Método com o método Split (). Neste artigo, o processo de tokenização de uma string no JavaScript é ilustrado com exemplos.