La régression linéaire est une des méthodes de régression des plus courantes et des plus simples à mettre en place en Machine Learning.
Ici, nous sommes en présence d'un modèle paramétrique, c'est-à-dire un modèle ayant un nombre de paramètres constant. Il s'agit d'un modèle rapide, mais avec des présupposés forts à propos des données sous-jacentes[1]. Ces biais inductifs concernent généralement la distribution des données, de p(y|x) ou de p(x) selon le problème posé.
Background
La régression linéaire est souvent définie avec les données d'entrée x, leurs poids associés w, et une erreur résiduelle ε assumée normalement distribuée par :
ou
Ainsi, la régression linéaire est définie avec θ les paramètres du modèle et σ l'écart-type de la distribution d'ε par :
Estimation des paramètres
En supposant que N données sont indépendantes et identiquement distribuées (hypothèse iid), les paramètres sont estimés en minimisant la log-vraissemblance négative (NLL)** :
Avec la somme des erreurs au carré (SSE), l'implémentation classique vise à trouver les différents poids w et le biais w0 en minimisant l'erreur. Cette méthode est souvent appelée méthode des moindres carrés.
Python
Dans un premier temps, il convient d'importer les différentes librairies qui seront utiles à l'implémentation efficiente d'une régression linéaire.
import numpy as np # Pour la génération des données
import matplotlib.pyplot as plt # Pour la visualisation
from sklearn.linear_model import LinearRegression # Pour l'implémentation de la régression linéaire
Il faut ensuite générer nos données vérifiant l'hypothèse iid.
# Paramètres réels
gradient = 0.5
w0 = 1
# Création des données
X_train = 2 * np.random.random_sample((20, 1))
y_train = gradient * X_train + w0 + 0.1 * np.random.random_sample((20, 1))
# Affichage
plt.scatter(X_train, y_train);
Maintenant, place à l'utilisation simple et efficace de la régression linéaire, en passant par la librairie Scikit-Learn.
# Définition et entraînement du modèle
model = LinearRegression(fit_intercept = True)
model.fit(X_train, y_train)
# Création de la population de test
X_test = 2 * np.random.random_sample((10, 1))
y_test = gradient * X_test + w0 + 0.1 * np.random.random_sample((10, 1))
# Calcul du score
r2 = model.score(X_test, y_test)
print("Gradient : {}\nBiais w0 : {}\nR2 : {}".format(model.coef_,
model.intercept_,
r2))
Gradient : [[0.49493139]]
Biais w0 : [1.04069008]
R2 : 0.9911788822610862
En appelant la méthode fit() de notre modèle, le gradient est estimé à 0.49 (au lieu de 0.50), et le biais w0 est estimé à 1.04 (au lieu de 1.00). Sur un jeu de test, le modèle atteint un score (R²) de 0.99, représentant un ajustement quasi-parfait.
# Affichage des données, de la prédiction et de la vérité
x = np.linspace(0, 2, 10).reshape(-1, 1)
y_truth = gradient * x + w0
y_estimated = model.coef_ * x + model.intercept_
plt.scatter(X_train, y_train, label="Données")
plt.plot(x, y_truth, label="Réalité")
plt.plot(x, y_estimated, label="Modèle")
plt.legend();
Une fois notre modèle défini et entraîné, il est possible de réaliser des prédictions sur de nouvelles données.
# Prédiction d'une nouvelle observation
observation = np.array(1).reshape(-1,1)
y_pred = model.predict(observation)
y_truth = gradient * observation + w0
print("Prédiction : {}\nVérité : {}".format(y_pred, y_truth))
Prédiction : [[1.53562147]]
Vérité : [[1.5]]
Références
[1] Murphy, Machine Learning : A Probabilistic Perspective. 2012.
60s (Data) Science est un nouveau format d'articles ayant pour objectif d'introduire et de présenter rapidement des concepts en Sciences, et Sciences de Données. Tout feedback sera apprécié à sa juste valeur :)
Merci aux communautés #SteemSTEM et #FrancoSTEM pour leur aide et leur soutien ! <3