Regressão Ridge em Sklearn
O que é regressão de cume?
Para aumentar a precisão da previsão, a técnica estatística conhecida como regressão de cume reduz a magnitude das estimativas de parâmetros. Funciona especialmente bem se o seu conjunto de dados contiver colunas correlacionadas que você tenta usar como entrada (variáveis independentes) em modelos de regressão, mas nenhum de seus modelos produziu resultados muito precisos. Em outras palavras, a regressão de cume é uma técnica de ajuste de modelo que é usada para qualquer análise de dados multicolineares. Os dados são submetidos à regularização de L2 usando este método.
A função de custo para a regressão de cume é:
Min (|| y - x (teta) ||^2 + λ || teta ||^2)O que é multicolinearidade?
O conceito de multicolinearidade é baseado em pesquisa estatística. Apenas quando suas variáveis independentes têm um grau significativo de correlação. A colinearidade não afeta diretamente a variável de resposta; Em vez disso, diz respeito às interações entre as variáveis ou características preditivas. As estimativas dos coeficientes de regressão podem ser imprecisas como resultado da multicolinearidade. Pode potencialmente aumentar os erros padrão do coeficiente de regressão e diminuir a eficácia de qualquer teste t. A multicolinearidade pode fornecer resultados e valores de p, aumentando a redundância do modelo e diminuindo a eficácia e a confiabilidade da previsibilidade.
Vantagens da regressão de cume
- Ele guarda contra o modelo se tornando overfit.
- Não requer estimadores objetivos.
- Existe apenas uma pequena quantidade de viés, permitindo que as estimativas sejam uma aproximação bastante precisa dos números da população genuína.
- Quando há multicolinearidade, o estimador de cume é bastante útil para melhorar a estimativa dos mínimos quadrados.
Implementando a regressão da Ridge em Sklearn
A importação requer as seguintes bibliotecas:
de Sklearn.Linear_model Import Ridgeimportar numpy como np
Crie o conjunto de dados usando o seguinte comando:
n_samples, n_features = 20, 4dados = np.aleatório.Randomstate (0)
y = dados.Randn (n_samples)
X = dados.Randn (n_samples, n_features)
Print ('Recursos são', x)
impressão ('etiquetas são', y)
Saída:
Os recursos são [-2.55298982 0.6536186 0.8644362 -0.74216502][2.26975462 -1.45436567 0.04575852 -0.18718385]
[1.53277921 1.46935877 0.15494743 0.37816252]
[-0.88778575 -1.98079647 -0.34791215 0.15634897]
[1.23029068 1.20237985 -0.38732682 -0.30230275]
[-1.04855297 -1.42001794 -1.70627019 1.9507754]
[-0.50965218 -0.4380743 -1.25279536 0.77749036]
[-1.61389785 -0.21274028 -0.89546656 0.3869025]
[-0.51080514 -1.18063218 -0.02818223 0.42833187]
[0.06651722 0.3024719 -0.63432209 -0.36274117]
[-0.67246045 -0.35955316 -0.81314628 -1.7262826]
[0.17742614 -0.40178094 -1.63019835 0.46278226]
[-0.90729836 0.0519454 0.72909056 0.12898291]
[1.13940068 -1.23482582 0.40234164 -0.68481009]
[-0.87079715 -0.57884966 -0.31155253 0.05616534]
[-1.16514984 0.90082649 0.46566244 -1.53624369]
[1.48825219 1.89588918 1.17877957 -0.17992484]
[-1.07075262 1.05445173 -0.40317695 1.22244507]
[0.20827498 0.97663904 0.3563664 0.70657317]
[0.01050002 1.78587049 0.12691209 0.40198936]]
Os rótulos são [1.76405235 0.40015721 0.97873798 2.2408932 1.86755799 -0.97727788
0.95008842 -0.15135721 -0.10321885 0.4105985 0.14404357 1.45427351
0.76103773 0.12167502 0.44386323 0.33367433 1.49407907 -0.20515826
0.3130677 -0.85409574]
Criando e ajustando o modelo:
Model = Ridge (alfa = 1.0)modelo.ajuste (x, y)
Conclusão
Discutimos o modelo de regressão de Ridge no aprendizado de máquina que é usado para executar a regularização de L2 nos dados para evitar o excesso de ajuste. É uma versão avançada de uma regressão linear simples. Também discutimos sua implementação usando Sklearn.