Surapprentissage : le modèle a appris le bruit, pas le modèle
Un modèle avec 50 fonctionnalités sur 60 exemples. En train, c'est parfait : il passe par tous les points. En test – catastrophe. Il s'agit d'un surajustement : le modèle a mémorisé du bruit aléatoire dans l'ensemble d'entraînement au lieu de la structure réelle. Les poids ont explosé ; chaque élément tirait la couverture à sa manière. La régularisation – une pénalité pour les poids importants – ramène le modèle à la raison.